AI可见性排名不稳定？新研究揭示如何获得可靠数据

在数字营销领域，AI可见性（AI Visibility）已成为衡量品牌在生成式AI工具中出现频率的关键指标。然而，最新研究表明，这些排名数据远非稳定可靠，甚至可能只是“统计噪声”。本文基于IQRush发布的最新研究，结合Search Engine Journal的深度分析，为您揭示如何正确解读AI可见性数据，避免被误导。

一、AI可见性排名的本质：波动而非固定

AI可见性追踪数据并非完全可靠。由于生成式AI模型通常会产生不同回应，您仪表盘上的引用份额和排名仅仅是连续变化目标的一个快照，而非固定事实。您与竞争对手之间的差异可能是真实的，也可能仅仅是测量之间的波动。

IQRush于4月11日发布的新论文提供了一种区分这些情况的方法，表明没有固定数量的数据可以明确解决问题。该论文由IQRush联合创始人Ron Sielinski撰写，其公司销售的软件正是按照论文建议的方式测量AI可见性。值得关注的是，另一个独立团队也在4月发布了类似的重复测量发现，因此IQRush并非唯一提出这一观点的机构。

二、数据波动有多大？

反复向SearchGPT、Gemini或Perplexity询问相同问题，每次都可能产生不同的来源。这些模型被设计为每次回应添加一些随机性，因此每个引用只是其可能调用的众多URL之一。

同一作者先前的一篇论文探讨了这种变异性，例如，在测试SearchGPT关于跑步装备的问题时，Tom's Guide约占9.5%的引用，而Runner's World约占6.0%。在仪表盘上，Tom's Guide出现频率更高，但较大的误差范围意味着这些数字存在重叠。仅凭一个样本，很难说Tom's Guide表现优于Runner's World，因为3.5个百分点的差异仍在误差范围内。

新论文旨在通过解决一个简单但常被忽视的问题来防止这种错误：需要多少数据才能使排名真正有意义？

三、何时可以信任排名？

答案包含两个部分，且两者必须同时为真，排名才可靠。

首先，排名顺序必须停止变化。最初，由于没有网站具有明显优势，排名可能随新答案添加而频繁变化。只有收集足够答案后，顶级网站才开始清晰显现，使排名稳定。

其次，顶级网站之间必须拉开明显差距。如果它们非常接近，排名可能没有意义，因为激烈竞争并不能真正显示谁领先。论文考察了顶级网站之间的差异是否大于各自的误差范围。当差异大于误差范围时，排名反映真实差异；否则，可能只是统计噪声。

这两个条件必须同时满足，单独一个都不足够。在30个平台-主题测试中，满足这两个条件所需的答案数量从33到94不等（仅计算带引用的答案）。其中3个测试在125个问题后仍未达到这一标准，全部发生在SearchGPT上，因为顶级网站过于相似而无法区分。没有适用于所有情况的单一截止点；对某个平台和主题有效的方法可能不适用于其他情况。

四、我们一直在探索这个问题

早在1月份，Search Engine Journal就报道了SparkToro的发现：AI工具在超过99%的情况下，对相同问题会给出不同的推荐品牌列表。那篇文章留下了一个未解之谜：需要询问多少次才能使结果稳定？这篇论文提供了目前最清晰的答案。

SparkToro研究负责人Rand Fishkin分享了一些有用建议。在花费任何资金追踪AI可见性之前，他建议确保您的供应商“展示其计算过程”。IQRush论文为此提供了很好的方法，因为它给出了一个简单的停止规则，这样您就不必仅凭直觉判断需要多少次运行。

这项研究也符合Search Engine Journal过去一年报道的一系列研究，每项研究都像固定事实一样报告AI引用数字。而这篇论文则反过来审视测量本身，询问这些数字是否足够稳定以进行比较。

五、这对您的报告意味着什么

仪表盘上的数字只是一个样本。在信任它之前，请检查您的追踪器是否重复执行相同的检查并报告一个范围，还是仅提取一次数据并显示一个干净的数字。干净的数字实际上可能是一个警告信号，而非安慰。

内容更改后的增长很容易被误解。例如，SearchGPT引用份额增加3个百分点可能看起来像是您努力的证明，但根据原始论文数据，这种变化可能属于连续运行的自然波动范围内。要确认胜利，请在更改前后各测量多次。单次前后读数无法将您的变化与普通噪声区分开。

您正在测量的平台会影响所需数据量，但方式可能出乎意料。这取决于每个答案携带的独立信息量，而非它给出的引用数量。Gemini在同一答案中将引用堆积在少数几个网站上，因此许多引用告诉您相同的信息。SearchGPT每个答案给出的引用较少，但分布更广，因此每个答案携带的独立信息比原始计数显示的更多。

在两个引擎上使用相同数量的答案并不能获得相同的置信度；一个能解决Gemini问题的预算可能让您在SearchGPT上仍存疑问。有时诚实的答案是您还无法确定。30个测试中有3个在其预算内从未清晰分离顶级网站。对于这些情况，正确的做法是暂停，而不是发布数据无法支持的排名。一个能告诉您“数据不足”的追踪器比一个每次询问都打印出自信排名的追踪器更有价值。

排名顶部是您最能捍卫的部分。有足够答案后，领先者会脱颖而出。

六、如何正确使用AI可见性数据

基于以上研究，Search Engine Journal建议营销人员采取以下策略：

1. 多次测量：不要依赖单次数据，至少进行多次重复查询以获得更稳定的结果。
2. 检查误差范围：确保您的追踪工具提供误差范围或置信区间，而非单一数字。
3. 关注趋势而非绝对值：长期趋势比单次读数更有意义。
4. 行业特定分析：不同平台和主题需要不同的数据量，制定个性化策略。
5. 内容刷新策略：结合AI可见性数据优化内容，但确保变化超出自然波动。

七、未来展望

随着生成式AI在搜索中的角色日益重要，准确测量AI可见性将成为营销成功的关键。这项研究提醒我们，在数据驱动的决策中，理解数据的局限性同样重要。

Search Engine Journal将继续关注这一领域的发展，为营销人员提供最新见解和最佳实践。记住，在AI可见性排名中，稳定的数据比漂亮的数据更有价值。