W2-3 AI 为什么要把文字变成一串数字？

2026 年 10 月 21 日 · 星期三

你在资料库里输入“怎样让房间安静一点”，希望找到标题为“室内降噪方法”的文章。两句话没有完整复用同一组词，系统却可能把它们联系起来。

一种做法是先把问题和文章分别变成一串数字，再比较这些数字。可电脑本来就用数字保存文字，为什么还要多做一步？关键在于：能存下字形和顺序，与能计算内容之间的关系，是两种要求。

下面讨论神经网络文本模型中的向量表示，尤其是它在语义检索中的作用。

编号能认出文字，却没有规定意义远近

设想一个纯教学词表：给“猫”“狗”“石头”分别编为 7、8、9。这些数字只是标签。7 与 8 相差 1，不能据此推断猫和狗的意义距离；把编号重新打乱，词义也不会改变。

常见的文本模型先把文字切成称为 token 的单元，再使用词表编号。单元可以是词的一部分，不一定对应一个完整词。BERT 就采用了 WordPiece 词片表示。BERT 原论文：输入与输出表示

接着，可以用编号到一张表里取出对应的一行数字。例如，编号 7 取出一组数，编号 8 取出另一组。这样的有序数字组叫向量；其中有几个数，就说它有几维。PyTorch 的嵌入层正可以实现这种查表操作。PyTorch：词嵌入教程

不过，随手给每个词分配一组数字，并不会自动获得有用的语义关系。真正要解释的是：这些数怎样形成？

向量中的数可以作为模型参数，在训练中随其他参数一起调整。模型反复完成任务、计算预测与目标的差别，再据此更新参数。这里的“学习”，指的是这种调整过程。

例如，用前面的词预测后面的词，可以让表示服务于语言预测；让模型区分不同关系的句子，也可以为句子表示提供训练信号。不同训练目标并不保证得到同一种“相似”。

还要区分输入端查出的向量，与经过网络处理后的表示。BERT 会结合左右上下文形成表示。同一个词片编号对应的输入查表项可以相同，但它在不同句子中经过网络后的表示可以不同。BERT 原论文：上下文表示与预训练

用“苹果”作教学例子，“削一个苹果”与“苹果发布产品”提供了不同线索。上下文模型有机会利用这些线索区分用法；这不等于每个模型在每种歧义上都能判断正确。

这些维度通常也不是人工写好的“水果程度”“科技程度”评分。PyTorch 教程明确提醒，学到的单个维度未必有可直接解释的含义。我们不能看到某个坐标大，就擅自给它贴上一个语义标签。

用于检索时，可以把一段文字编码成一个向量。Sentence-BERT 的研究就训练句子表示，使其可以用余弦相似度比较，服务于语义相似度搜索等任务。它不是把任意模型输出的一行数直接命名为“句意”就算完成。Sentence-BERT 原论文

余弦相似度比较两个非零向量的方向：先把对应位置的数相乘并相加，再除以两个向量各自的长度。其数学取值范围为 −1 到 1。Sentence Transformers：文本相似度计算

做一个完全人为的二维算例：问题向量是 q=(1, 0)，候选 A 是 (0.8, 0.6)，候选 B 是 (0, 1)。这三个向量的长度都是 1，因此 q 与 A 的余弦相似度是 0.8，与 B 的是 0。若按这个指标排序，A 排在 B 前面。

把 A 改成 (1.6, 1.2)，长度变为 2，但方向不变，相似度仍是 1.6÷2=0.8。可见，这个指标关注方向，不能简单理解为“数字越大越相关”。这些坐标没有来自真实模型，也不代表开篇两句话的实际得分。

语义检索的一种基本流程是：先为库内文本计算向量；收到问题后，用相容的编码方式得到问题向量，再寻找得分靠前的条目。这样可以先建立库内表示，不必每次都把问题与每篇全文联合送入模型。Sentence Transformers：语义检索

但“找一句意思相近的话”，与“找一段能回答问题的长文”，并不完全相同。上述官方文档区分了这两种检索任务，并强调应选择适合任务的模型。

因此，模型、训练方式和比较指标都是分数含义的一部分。不能随便把两个不同模型的向量放在一起计算，也不能把不同系统的 0.8 当作同一把尺子的读数。

对开篇的资料库，我们真正关心的是：相关材料能否排在前面，否定词、数字和专业术语是否被妥善处理。这需要拿实际问题与人工核对的相关材料来检查，不能只看向量有多少维。

相似度 0.8 不表示“有 80% 的概率是真的”。上面的公式没有核查作者身份、发表时间或原始记录；它只计算给定表示之间的几何关系。

一个逻辑检验就能说明界限：把同一句虚构陈述复制两份，只要编码结果相同且非零，它们的余弦相似度就是 1。两份文本完全一致，并不能把虚构变成事实。这是由公式推出的教学例子，不是对某个模型进行的实验。

所以，检索到“室内降噪方法”只是找到了候选材料。接下来还要阅读原文，检查方法针对的是窗外噪声、室内回声还是设备振动，以及证据和适用条件。

文字变成向量的价值，在于让学到的关系进入可计算的形式，帮助模型比较、检索和完成任务。使用这些数字时，也应保留问题意识：它为哪种任务形成？高分究竟支持哪一个判断？

如果再把一批检索结果压成一个平均分，那些少数但关键的失败，会不会恰好被遮住？