检索增强生成（RAG）详解：AI如何决定搜索并引用哪些页面

检索增强生成（RAG）详解：AI如何决定搜索并引用哪些页面

本文深入探讨了检索增强生成（RAG）这一框架，它决定了AI工具在生成答案前检索和引用哪些内容。理解RAG至关重要，因为它是ChatGPT、AI模式及其他AI搜索引擎选择页面纳入答案的关键机制。

什么是检索增强生成（RAG）？

检索增强生成（RAG）是一种技术，它让大型语言模型（LLM）查询索引——比如搜索引擎、知识库或向量数据库——以找到额外的、上下文相关的信息来生成回答，而不是仅仅依赖训练时学到的知识。

大型语言模型在庞大的数据集上训练，但训练数据有截止日期。如果你问AI模型上周发生了什么，或者你的实时生产数据库里有什么，它只能凭记忆作答，面前没有任何参考资料。当AI模型被问及它尚未掌握的信息时，它最有可能“胡言乱语”，甚至告诉你毒药对身体有好处……这就是所谓的AI“幻觉”。

RAG为AI模型提供了正确、最新的资料，以避免这种命运。通过RAG，LLM会补充甚至覆盖其内部知识——即所谓的“参数记忆”——以提供更可靠的答案。这个过程有时也被称为“接地”（grounding），即将回答锚定到特定来源，使模型不会仅仅依赖训练数据自由发挥。

三个词对应了过程的三个阶段：

• 检索（Retrieval）：AI模型运行搜索查询，找到（或检索）相关内容。
• 增强（Augmented）：它将检索到的内容添加到输入中（增强其知识）。
• 生成（Generation）：它利用查询和检索到的内容撰写（或生成）回答。

顺便一提，这些都不是新鲜事。RAG比AI搜索热潮早了好几年。该方法首次记录于2020年的一篇研究论文中，远在ChatGPT出现之前。iPullRank创始人Michael King早在2023年就撰文论述了为什么RAG注定是搜索的未来，那时大多数行业还未开始关注。

大多数AI工具同时使用RAG和训练知识。正如搜索用户体验优化专家Dorron Shapow所说：“大多数AI工具在底层至少运行两套系统：基础模型从训练中学到的模式生成语言；检索层则去寻找要附加的来源。”进入基础模型的知识意味着成为其训练数据的一部分，这并非易事。但进入检索结果，在很多方面是SEO的延伸。

RAG如何工作？

每个基于RAG的AI回答都遵循三个步骤：搜索、检索、生成。要理解每个阶段可能发生的细节，这里我们以ChatGPT检索来源的方式为例。

步骤1：AI决定是否运行搜索

在检索任何内容之前，AI会先判断是否需要利用外部数据来丰富自己的知识。像“什么是VPN？”这样简单的事实查询，通常可以由核心模型基于其现有的训练知识直接回答，无需检索。

在ChatGPT的情况下，首先会运行一个较小的分类模型（根据David McSweeney的研究，这是“sonicberry”系统的一部分），它会分配概率分数，以确定查询是否需要：无搜索、简单搜索或复杂的多步搜索。其他AI工具处理这一步的方式可能不同，但它们都遵循相同的基本逻辑：并非每个查询都会触发搜索。

步骤2：AI运行搜索

当有人向ChatGPT提出需要更多上下文的问题时，它会将该查询扩展为多个相关查询，然后发送到外部搜索索引（如Bing或Google）以收集结果。这个扩展过程被称为“查询扇出”（query fan-out）。

进一步阅读：什么是查询扇出？理解驱动AI搜索的隐藏查询

RAG现在具有代理性

这里描述的查询扇出是一次性并行运行子查询。一些较新的系统更进一步：它们搜索、读取返回的内容，然后根据所学内容决定是否再次搜索。它们也不仅限于搜索工具；关于今天抵押贷款利率的问题可能会触发实时API调用，而不是段落检索。iPullRank创始人Michael King在其关于代理性RAG的精彩指南中深入探讨了这两点，非常值得一读。

一旦收集到一组页面，根据AI专家Dan Petrovic的研究，页面上的SEO因素（如标题、元描述/摘要和URL）决定了哪个页面会被完整阅读。他发现，来源会基于“相关性、权威性、时效性和视角多样性”被列入抓取候选名单。

某些AI助手为特定域名设有“VIP通道”

AI专家Jérôme Salomon发现证据表明，ChatGPT正在构建自己的缓存内容搜索索引。换句话说，它并不总是从实时搜索引擎结果页面中检索。此外，根据Mark Williams-Cook、David McSweeney和Suganthan Mohanadasan的独立研究，ChatGPT据称还会从一个单独的、获得许可的“VIP”层级中提供内容。

如何优化内容以适应RAG？

理解RAG的工作原理后，优化内容以提高被AI检索和引用的可能性成为关键。以下是一些实用策略：

1. 优化页面SEO要素：确保标题、元描述和URL清晰、准确，并包含目标关键词。这些元素是AI决定是否完整阅读你页面的重要信号。

2. 提供权威且最新的内容：时效性和权威性是AI筛选来源的关键标准。定期更新内容，引用可靠来源，并展示你的专业知识。

3. 结构化内容：使用清晰的标题层级（H1、H2、H3）、列表和段落，帮助AI轻松理解内容结构和重点。

4. 覆盖长尾和语义相关关键词：由于AI会进行查询扇出，覆盖与核心主题相关的各种变体和概念，可以增加被检索的机会。

5. 获取高质量外部链接：链接网站的数量和质量是权威性的重要指标。建立强大的外部链接档案，向AI信号传递你的可信度。

如何衡量在RAG系统中的可见度？

使用Ahrefs Brand Radar等工具，可以跟踪你的品牌和内容在AI系统中的提及情况。通过监控哪些查询触发了你的内容，以及AI如何引用你，你可以不断优化策略，提升在AI搜索时代的可见度。

总结

检索增强生成（RAG）正在重塑搜索与内容发现的格局。对于SEO从业者和内容营销者来说，理解RAG不仅是技术好奇，更是战略必需。通过优化内容以符合RAG的检索逻辑，你可以确保在AI驱动的搜索结果中占据有利位置，抓住下一代搜索的机遇。