
AI引用测试揭示:来源排序的真实影响远小于表面数字
一项arXiv预印本研究通过控制变量法发现,AI搜索中来源排序的表面引用差异(首位85.1%对第五位42.8%,相差42.3个百分点)在内容等价来源互换位置后骤降至7.9个百分点,更严格测试中效应几乎归零;结构化改写仅带来4.5个百分点的非决定性提升(置信区间跨越零点),且同输入重跑时约15%的结果会翻转,表明排序的真实影响远小于表面数字,论文定性为归因敏感性警示而非优化技巧。
- 原始位置差距(42.3个百分点)混杂了页面质量因素,互换等价来源后效应大幅缩小
- 结构化改写平均多获得0.50个引用标记,但「是否被引用」的提升不具统计显著性
- 相同输入重跑120条回答,15%的引用判定发生翻转,约45%方差源于模型随机性
- Ahrefs 报告的 JSON-LD 相关性同样未通过变量控制验证,相关性不等于因果
- 研究仅覆盖单一 GPT-5.4 智能体与离线回放,无法确认线上页面重排是否有效
目录
一个被误读的42个百分点
在AI搜索优化的圈子里,一个流传甚广的直觉是:只要把网页排到搜索结果更靠前的位置,被AI引用的概率就会大幅提升。这个直觉看起来有数据支撑——在某项新测试的原始统计中,排在首位的来源被引用率高达85.1%,而第五位只有42.8%,两者相差42.3个百分点。
但如果就此认定「排序决定一切」,可能掉进了一个统计陷阱。一项发布于 arXiv 的预印本研究(未经同行评审)通过控制变量法发现:当研究者把两个内容等价的来源互换位置后,引用差异骤降至7.9个百分点,且在后续更严格的测试中,这一效应几乎归零。换句话说,那42个百分点里,混杂了大量「页面本身质量」的因素,而非纯粹的位置红利。
这项由 Sriram Selvam 与 Anneswa Ghosh 完成的实验,测试对象是一个搭载 Exa 搜索服务的 GPT-5.4 智能体,采用离线回放对话的方式进行,不涉及对真实网页的任何改动。
实验是怎么设计的
研究团队让该智能体独立完成130个常见问题的网络搜索,并完整记录了129个问题的每条消息与搜索结果。从这些记录中,他们筛选出「出现在同一次搜索、且都被判定支持同一事实」的网页配对——这样的配对意味着,无论引用哪一个都算合理,任何引用差异都只能归因于模型在两者之间的偏好分配。
初筛得到113对,后续经盲审人工核验,确认其中103对为真实等价匹配。
随后,研究者将每段保存的对话以四种方式回放:把某一页放在另一页之上或之下,并分别以「纯段落」或「带标题、列表、表格的结构化改写」呈现。只有最终答案会被重新生成。两个版本的文本均由 AI 改写而成,其中绝大多数由 Grok 4.3 生成,仅一对使用 GPT-5.4 作为补充,另有独立的 Grok 审查环节核对事实一致性。研究者也坦承,由于两版措辞本身存在差异,该测试比较的是两种改写版本,并未能单独剥离出「格式」这一个变量。
结构化改写拿到了更多「引用分」
在引用标记的分配上,结构化改写版本平均每次回答多获得0.50个引用标记(95%置信区间为0.20至0.84)。测试中的回答引用密度相当高,六份文档的中位数达到29个标记。值得注意的是,每次回答的引用总数并未增加,另一页获得的引用数也基本不变——研究者将其解读为「引用权重向改写页集中」。
至于「是否被引用」这一主要预设指标,结构化文本带来的提升为4.5个百分点,但置信区间跨越零点(-1.4至+10.4),论文明确指出该结果不具决定性,并说明该研究只能可靠检测约8.5个百分点以上的效应。
更严格的对照实验——每个词保持不变、仅把版式调整为「每行一句列表」——在全部113对中提升了引用率;然而在子集重复测试时,效应方向却发生了反转。
论文在讨论部分给出的定性相当克制:「这是一个归因敏感性的警示,而非优化技巧。」
同输入重跑,15%的结果会翻转
研究团队用完全相同的输入重新测试了120条回答,发现目标页面「被引用与否」的判定在15%的案例中发生了改变,约为七分之一。单次运行效应的方差中,约45%可归因于模型自身的随机性。
这一发现与 SparkToro 在1月份的报告形成呼应:当反复输入同一提示词时,ChatGPT 与 Google AI Overviews 给出完全相同品牌列表的概率不足1%。
对从业者而言,这意味着单次查询得到的「被引用/未被引用」结论,几乎不足以作为成败判断的依据。研究者建议对引用测试进行多轮重跑,并公开结果的一致性程度。
相关性不等于因果:一个反复出现的陷阱
Ahrefs 在5月份的一份报告曾指出,被AI引用的页面包含 JSON-LD 结构化数据的概率约为普通页面的三倍。但该报告同样未能证明「添加 schema 就能提升引用」——这与本次实验中「原始位置差距远大于互换后的平均效应」是同一类问题。
两件事放在一起看,指向一个方法论层面的提醒:无论是第三方报告中的相关性,还是你自己后台的追踪数据,都需要通过「主动改变变量」来验证,而不是停留在观察层面。
关于搜索排序与引用机制的权威背景,可参考 Google 搜索中心关于排名系统的说明;关于生成式引擎优化这一新兴领域的整体讨论,Search Engine Journal 长期跟踪并提供了大量实测案例。
这项研究无法回答的问题
需要明确边界:由于改写仅作用于「已被检索到的文本」,实验并未触及爬取、检索与排序环节,因此无法确认对真实线上页面进行重排是否真能提升引用。
研究者还将保存的搜索在 Grok 4.3 上重跑,发现结构化改写的倾向方向一致,但 Grok 首次回复中遵循正确引用格式的比例不足一半。
国内视角:AI搜索引用机制的本土进展
在中文语境下,类似的引用归因问题同样存在。百度文心一言、阿里通义千问、DeepSeek、字节豆包、月之暗面 Kimi 以及智谱 GLM 等产品,均已在其回答中引入来源标注或检索增强(RAG)链路。其中 Kimi 与 DeepSeek 在长文本检索与引用溯源上的产品化程度较高,通义千问则与夸克、UC 等搜索入口深度打通,形成「搜索+生成」的闭环。
差异在于,国内多数产品尚未公开类似的可复现引用测试方法论,内容方在评估「被哪家AI引用、引用权重如何分配」时,往往缺乏稳定的观测工具。这既是挑战,也意味着国内 GEO(生成式引擎优化)实践仍处于早期,谁能率先建立可重复的测试框架,谁就更可能掌握话语权。
常见问题
AI搜索中,来源排序对引用率的影响到底有多大?
原始数据显示首位来源被引用率为85.1%、第五位为42.8%,但这是混杂了页面质量的结果。当研究者互换两个等价来源的位置后,效应降至7.9个百分点,且在更严格的56对测试中估计值为0.0(95%置信区间-5.4至+5.4)。排序有影响,但远小于表面数字。
把网页改写成结构化格式(标题、列表、表格)能提升AI引用吗?
结构化改写平均每次回答多获得0.50个引用标记,但「是否被引用」这一主要指标的提升不具统计显著性(95%区间-1.4至+10.4)。研究者将其定性为「归因敏感性警示」,而非可复制的优化手段。
为什么同一条提示词重跑,AI引用结果会变?
因为模型本身存在随机性。该研究用相同输入重跑120条回答,15%的引用判定发生翻转,约45%的单次效应方差来自模型随机性。因此单次测试结果不能作为成败依据,需多轮重跑并报告一致性。
JSON-LD结构化数据真的能提升AI引用率吗?
Ahrefs 报告显示被引用页面包含 JSON-LD 的概率约为三倍,但添加 schema 并未明确提升引用。这与本次实验的结论一致:观察到的相关性不等于因果,必须通过主动改变变量来验证。
这项研究的局限性是什么?
它只测试了一个搭载 Exa 的 GPT-5.4 智能体,采用离线回放,未涉及爬取、检索与排序环节,也无法确认对真实线上页面重排是否有效。此外论文为 arXiv 预印本,未经同行评审,且只能可靠检测约8.5个百分点以上的效应。
关于 Bingdada
Bingdada 是一个专注 SEO、GEO(生成式引擎优化)与 AEO(答案引擎优化)的内容平台,由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态,为读者提供准确、实用、可落地的方法论与行业洞察。
编辑团队:内容策划 · 技术编辑 · AI 研究组
网站:bingdada.com
© 2026 Bingdada. 保留所有权利。
bingdada
SEO & GEO 技术探索者,专注于搜索引擎优化和生成式引擎优化。
相关文章

AI 搜索时代,你的内容为何"隐身"?Ahrefs 九月更新给出诊断方案
Ahrefs 九月更新把 AI 可发现性列为 Site Audit 一级问题类别,并上线页面类型分析、语义筛选与日志源集成。本文从诊断到行动,拆解 GEO 时代内容可见度的完整方法论。

AI 搜索时代的内容生存指南:Google AI Mode 如何改写流量规则
Google AI Mode 正把搜索从链接列表变成对话式答案。本文拆解其运行机制、对 SEO 流量的真实冲击,并结合 Ahrefs Blog 的 GEO 视角,给出被 AI 引用的可执行优化方法。

AI 声量份额:在生成式搜索中衡量品牌可见性的新标尺
AI 声量份额衡量品牌在生成式回答中的相对可见性,但数值高度依赖计算口径。本文拆解其加权逻辑、跨平台陷阱与实用场景,并给出国内 AI 搜索的对照视角。
订阅我们的 Newsletter
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私,随时可以取消订阅。
