Skip to content
帕特里克·刘易斯等12位作者在2020年5月22日的论文中提出检索增强生成,让聊天机器人先从2100万段文字的索引里取出段落,再作答
人工智能与科技

帕特里克·刘易斯等12位作者在2020年5月22日的论文中提出检索增强生成,让聊天机器人先从2100万段文字的索引里取出段落,再作答

插图:tuput

中文

检索增强生成,简称RAG,是让语言模型先在文档集合中查找段落,再依据这些段落写出答案。给它命名的2020年论文在三项开放域问答任务上创下当时的最好成绩,作者还展示了:换掉文档,模型的回答就跟着变,无需重新训练。

· · 1 分钟阅读

语言模型把训练时学到的东西存在自己的数字里,要更新这些数字,就得重新训练。2020年5月22日,帕特里克·刘易斯(Patrick Lewis)、伊桑·佩雷斯(Ethan Perez)、亚历山德拉·皮克图斯(Aleksandra Piktus)、法比奥·彼得罗尼(Fabio Petroni)和另外八位合著者向arXiv提交了一篇论文,后来被NeurIPS 2020收录,文中描述了另一种安排。他们的模型叫检索增强生成,简称RAG:先在一个文档集合里搜索,再把最合适的段落摆在眼前写出答案。它在三项开放域问答任务上创下当时的最好成绩,还让作者只要换掉文档集合,就能改变模型所知道的内容。

四个步骤,用平实的话说

2020年的论文和此后搭建的各种系统,流水线的形状是一样的。Anthropic 2024年的工程文章列出了准备阶段的步骤:把文档切成文字块,通常不超过几百个词元(词元是词的一小段);用嵌入模型把每个文字块变成一个向量,也就是一串编码了含义的数字;再把这些向量存进可以按相似度搜索的数据库。

提问时,系统用同样的办法把问题变成向量,取出向量与之最接近的文字块,加进发给文本生成器的提示里。高(Gao)和另外九位合著者在2023年对这一领域的综述中,把这种三阶段的做法称为“朴素RAG”:建立索引、检索、生成。

原始论文里的数字很具体。刘易斯等人取2018年12月的英文维基百科快照,把每篇文章切成互不重叠的100词文字块,得到2100万份文档。他们用一种快速的近似方法搜索这个索引,训练时每个问题检索5段或10段,连同问题一起交给BART-large,一个4亿参数的文本生成器。

先出现的检索器

搜索这一半来自2020年4月10日提交的一篇论文,比刘易斯的论文早六周。弗拉基米尔·卡尔普欣(Vladimir Karpukhin)和包括刘易斯在内的七位合著者做出了稠密段落检索,它按含义而不是按共有的词,把问题和段落配对。论文报告说,在前20个段落的范围内,它比一个很强的BM25系统(长期使用的词语匹配方法)的绝对准确率高出9到19个百分点。在Natural Questions数据集上,两者的数字是78.4%对59.1%。

Meta AI 2020年9月28日的博客文章由塞巴斯蒂安·里德尔(Sebastian Riedel)、杜韦·基拉(Douwe Kiela)、帕特里克·刘易斯和亚历山德拉·皮克图斯撰写,把RAG描述为Facebook AI的稠密段落检索器与BART的结合。更早的REALM出自凯尔文·古(Kelvin Guu)等五人之手,发表于2020年2月10日,它在语言模型预训练期间同时训练一个检索器。刘易斯的论文说,RAG不需要那种昂贵的专门预训练就能取得很强的结果,也不需要单独的重排序器就能达到当时的最好水平。

换索引的测试

Meta的文章用一句话点出了实际的好处:有了RAG,“只要换掉文档,我们就能控制它知道什么”。论文给出了背后的实验,称之为索引热插拔。

作者用2016年12月的维基百科快照另建了一个索引,并列出在这两个日期之间发生更替的82位各国领导人。他们对每个索引都提出“秘鲁总统是谁?”之类的问题。对2016年的领导人,用2016年的索引答对了70%;对2018年的领导人,用2018年的索引答对了68%。用错了年份的索引,准确率跌到12%和4%。论文的解读是,只要替换模型的非参数记忆(也就是它对文档库的称呼),就能更新模型的世界知识。

同一篇论文还指出,这种记忆是原始文本,因此人可以读,也可以写。在一项针对《危险边缘》风格出题的人工比较中,评审认为在452组配对输出里,RAG比BART基线更符合事实的占42.7%,BART更符合事实的占7.1%。

Meta的文章说,这个模型作为Hugging Face Transformers库的一部分发布。Hugging Face文档页面把该模型加入这个库的时间记为2020年11月16日,并用同样的说法描述这一思路:取出相关段落,再让答案以它们为依据,因此更新知识只需改变索引。

文字块在哪里丢了上下文

薄弱之处在于切分。Anthropic的文章举了一个例子:一个写着“公司的收入比上一季度增长了3%”的文字块,没有说是哪家公司、哪个季度,所以搜索某家公司的业绩时可能漏掉它。Anthropic的补救办法叫上下文检索:让模型为每个文字块写一段简短的说明,通常50到100个词元,交代它出自文档的哪里,并在建立索引之前把这段说明放在文字块前面。

Anthropic把结果报告为:相关段落没有出现在检索到的前20条里的比例,取代码库、小说、arXiv论文和科学论文几类数据的平均值:

  • 普通嵌入:5.7%未出现。
  • 加上下文嵌入:3.7%。
  • 加上下文嵌入和上下文BM25:2.9%。
  • 再加一个重排序步骤:1.9%。

这些数字是Anthropic在自己的数据集上做的测试,用的是Gemini的Text 004嵌入和Cohere的重排序器,文章没有提到独立的复现。同一篇文章还给整个做法补了一个限度:如果知识库小于约20万个词元,大致相当于500页,就可以直接放进提示里,完全不必检索。

检索没有消除的问题

检索降低了编造答案的比率,但没有把它降到零。舒斯特(Shuster)和四位合著者在2021年报告,聊天机器人内部加入检索后,按人类评估者的判断,幻觉大幅减少。高等人的综述列出了仍然存在的失误:模型仍可能写出检索到的文字并不支持的内容,检索这一步本身也可能选中对不上的文字块。

检验产品宣传最清楚的领域是法律。马盖什(Magesh)和五位合著者评估了使用RAG的商业法律检索工具,发现每一款产生幻觉的比例在17%到33%之间,比作为通用聊天机器人的GPT-4低,但远高于零,而厂商宣称其法律引文“没有幻觉”。tuput关于AI幻觉的解读介绍了这项研究和随后的法院命令,另一篇讲大语言模型如何训练的文章则解释了RAG所补充的、存在数字里的那部分知识。

刘易斯自己的摘要把出处,也就是说明答案来自哪里的能力,列为尚未解决的研究问题。2023年的综述更乐观:它说基于检索的生成能快速找到原始参考资料,用户因此可以核实答案。具体产品是否展示这些参考资料,取决于它是怎样搭建的。

一个印度的例子,以及已知内容的边界

印度农业和农民福利部于2026年2月17日启动了Bharat-VISTAAR第一阶段。该部2月16日的新闻稿说,这个平台通过连接政府和科研信息来源向农民提供信息,包括印度气象局的天气、AgMarkNet的集市价格、国家病虫害监测系统的病虫害建议、AgriStack数据以及10项中央计划。农民可以用印地语或英语拨打155261,新闻稿称这个平台“基于经过核实的安全信息”。

无论那份新闻稿,还是该部2026年3月13日在联邦院的答复,都没有描述底层的软件,也没有说这个系统使用检索增强生成,所以本文也不声称它使用。这些页面描述的,是RAG存在的目的所要支持的设计:答案应当来自有名有姓的官方记录,而不是来自模型的记忆。tuput的另一篇文章把Bharat-VISTAAR与其他有记录的农业应用并列比较。

3月13日的答复还说,印度农业研究理事会的作物种植规范是这个平台的一部分,另有四种语言计划在启动后三个月内上线,再有五种在六个月内上线。

Share
Copied!

资料来源与延伸阅读

  1. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401, submitted 22 May 2020)
  2. Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, full paper (PDF)
  3. NeurIPS 2020 Proceedings: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
  4. Meta AI blog: Retrieval Augmented Generation, streamlining the creation of intelligent natural language processing models (28 September 2020)
  5. Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering (arXiv:2004.04906)
  6. Karpukhin et al.: Dense Passage Retrieval for Open-Domain Question Answering, full paper (PDF)
  7. Guu et al.: REALM, Retrieval-Augmented Language Model Pre-Training (arXiv:2002.08909, 10 February 2020)
  8. Hugging Face Transformers documentation: RAG
  9. Anthropic: Introducing Contextual Retrieval (19 September 2024)
  10. Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey (arXiv:2312.10997)
  11. Gao et al.: Retrieval-Augmented Generation for Large Language Models, A Survey, full paper (PDF)
  12. Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv:2405.20362)
  13. Shuster et al.: Retrieval Augmentation Reduces Hallucination in Conversation (arXiv:2104.07567)
  14. PIB, Ministry of Agriculture and Farmers Welfare: Bharat-VISTAAR to be launched on 17 February (16 February 2026)
  15. PIB, Ministry of Agriculture and Farmers Welfare: Rollout of BHARAT-VISTAAR Platform, Rajya Sabha reply (13 March 2026)

本文在 AI 工具协助下研究与撰写,并经编辑核实。仅供一般参考与讨论,不构成专业建议。请参阅我们的编辑准则与免责声明。发现错误?告诉我们。

#retrieval-augmented generation#rag#large language models#dense passage retrieval#contextual retrieval#ai hallucination#bharat-vistaar#embeddings

喜欢这篇吗?下一篇也别错过。

每次一篇好文章,直接送到你的邮箱。绝无垃圾邮件,随时可退订。

同类更多: 人工智能与科技
纽约两名律师及其律所2023年因ChatGPT编造的六个判例被罚5,000美元,到2026年10月,一个公开追踪库列出了2,202份涉及AI幻觉的法院裁判
来自纽约、亚拉巴马和印度最高法院的命令,与解释聊天机器人为何编造事实的研究论文并置。它们显示一条编造的引文如何走到法官面前,什么降低了错误率,以及法院选择了怎样的应对。
八位谷歌作者于2017年6月12日发布Transformer论文,其大模型在八块GPU上训练3.5天后,英德翻译得分达到28.4 BLEU
这篇文章带读者走一遍今天聊天机器人背后的设计,用的是论文自己的表格,以及谷歌自己举的“一个词必须去看河”的例子。文章也讲到2017年设计中后来的模型保留、改动或舍弃的部分。
Bharat-VISTAAR 于2026年2月17日在斋浦尔推出,农民打电话拨155261就能向AI顾问提问,它调用ICAR、IMD、Agmarknet和AgriStack的数据
拨打一次155261,就能接通一位AI顾问,它的资料来自ICAR的种植规程、天气和曼迪数据。推出时的新闻稿、语言计划和迄今公布的使用数字,连同日期和来源一并列出。
← 全部文章