RAG 前置阅读:LLM、Embedding 与向量的基础概念
RAG 前置阅读:LLM、Embedding 与向量的基础概念
引言
如果你准备读《RAG(检索增强生成)详解》,这篇文章是你的铺垫。RAG 的三个关键词——让模型”带着资料开卷考试”——背后依赖三个基础概念:LLM(大语言模型)、Embedding(嵌入/向量化)、向量与相似度。把它们搞懂,RAG 的流程就一目了然。
这篇不追求全面,只讲透”够用”的程度,全部面向零基础读者。文中没有任何需要背的参数,重点在直觉。
一、LLM:大语言模型是什么
LLM(Large Language Model,大语言模型) 是一类通过海量文本训练出来的深度学习模型,比如 ChatGPT、Claude、豆包背后的模型。它的核心能力可以概括为:根据前文预测下一个最合理的词。
听起来很简单,但当训练数据足够多、模型足够大,它就从”猜下一个词”涌现出了理解、推理、翻译、写代码等复杂能力——它学会了语言里的规律,所以能生成流畅且看似有逻辑的内容。
为什么要先懂 LLM 的”缺陷”
理解 RAG,关键不是知道 LLM 多强,而是知道它有什么短板:
- 知识有截止日期:它只记得训练数据截止时的知识,之后的新信息不知道;
- 会”幻觉”:遇到不知道的问题,它可能”一本正经地编一个答案”,而不是承认不知道;
- 不知道你的私有数据:你的内部文档、产品手册,它根本没见过。
RAG 的全部意义,就是针对这三点打补丁:不重新训练,而是在回答前先把相关资料找出来喂给它。所以你要先接受一个前提——模型本身不”自带知识库”,知识要靠外部注入。这就是为什么要引入 Embedding 和向量。
一个生活化比喻:LLM 像一个记忆力好但”书没读全”的学生。你直接问它没学过的问题,它会硬着头皮编。RAG 就是给他一本可随时翻阅的资料集(见下一节)。
二、Embedding:把文字变成”数字”
计算机只认数字,不认文字。Embedding(嵌入) 就是把一段文字(一个词、一句话、一整段)转换成一个数字数组(向量) 的技术。这个转换由专门的 Embedding 模型完成。
关键特性是:语义相近的文字,转换出的向量也相近。
- “苹果” 的向量 → 和 “水果” 的向量很接近;
- “今天天气很好” → 和 “今天阳光不错” 的向量很接近;
- 但 “苹果” 的向量 → 和 “汽车” 的向量差得很远。
这就是 Embedding 的神奇之处:它把”含义”变成了”距离”。原本计算机只能做字面匹配,现在可以做”语义匹配”——换个说法意思相同,也能被识别为相近。
一个生活化比喻:Embedding 像给每个词在”语义地图”上定了一个坐标。意思相近的词在地图上靠得近(苹果和水果在同一片区),意思无关的词离得远(苹果和汽车天各一方)。
三、向量与相似度:怎么判断”找对了”
向量(Vector) 就是一组有序数字,比如 [0.21, 0.54, -0.13]。前面说过,一段文字经 Embedding 后就是一个向量。现在我们有了”找资料”的两样东西:文档被切成很多小块,每块是一个向量;用户问题也是一个向量。
下一步自然是:怎么判断问题向量和哪块文档向量最像? 答案是计算相似度,最常用的是余弦相似度(Cosine Similarity)——衡量两个向量的”方向”是否一致,数值范围在 -1 到 1 之间,越接近 1 表示越相似。
流程就三步:
- 把用户问题编码成向量;
- 拿它和库里所有文档块向量算相似度;
- 取最相似的 Top-K 个(比如最像的 5 块),交给 LLM。
这个”在所有向量里快速找出最像的 K 个”的操作叫近似最近邻检索,由向量数据库高效完成——你不需要自己写循环去比,库里已内置这种能力。
一个生活化比喻:这就像在图书馆找书。向量相似度是”这本书的主题和我问的问题像不像”的打分;Top-K 是”先拿出最像的几本”,而不是一次搬出整个图书馆;向量数据库是”馆员”,能瞬间在几百万本书里筛出最像的那几本。
比喻的边界:图书馆靠分类号,向量靠语义距离——后者更”懂意思”,但有时会”看走眼”(把无关但措辞相似的内容误判为相关),这正是 RAG 需要重排序、评测来兜底的原因(详见 RAG 详解正文)。
衔接小结
三个概念串起来,就是 RAG 的地基:
- LLM 负责”照着资料作答”,但本身不背知识库;
- Embedding 负责把文字变成向量,让计算机能”比含义”;
- 向量 + 相似度 + 向量数据库 负责”把最相关的资料找出来”。
准备好了,现在可以顺畅地进入《RAG(检索增强生成)详解》——那里会讲怎么把这套东西组织成完整流程。
