bingdada虽然出版商都在与谷歌谈判AI抓取授权，但Meta的爬虫已成为网络上最大的内容读取者，且几乎不回流流量。这源于两者历史角色的差异：谷歌过去以流量换内容，而Meta从未承诺输送流量。出版商应通过日志文件了解真实爬虫行为，而非仅关注头条中的AI公司。
当全球内容出版商的注意力都集中在与谷歌的AI抓取谈判桌上时，一场更深刻的权力转移正在悄然发生。真正在互联网上大规模读取内容的，可能并非那个被反复讨价还价的对手。
围绕AI抓取器的争论，几乎都聚焦在谷歌和OpenAI身上。出版商们忙着决定是屏蔽谷歌的AI，还是与其签订授权协议。Reddit在最近的财报电话会议上，就专门讨论了这个问题。然而，根据机器人防御服务商DataDome的数据，2026年第二季度其网络上的AI代理请求达到177亿次，环比增长45%。增长的主要来源并非谷歌或OpenAI，而是Meta。Meta的ExternalAgent代理环比增长74%，WebIndexer增长163%，两者合计已占据DataDome观测到的大部分AI代理流量。
值得注意的是，DataDome作为机器人防护服务商，其数据天然带有商业立场，具体数字应视为单一网络视角。但趋势方向难以忽视，尤其在查看robots.txt文件时：GPTBot仍是网络上被屏蔽最多的AI爬虫。我们精心设防的，并非真正在阅读的机器人。
这种认知差距源于谷歌与Meta截然不同的历史定位。谷歌曾是流量的主要驱动者，二十年来，双方默认的契约是：谷歌读取网站，谷歌带来访客。当谷歌的AI摘要开始截留这些访客时，出版商感到契约被打破，因此以屏蔽、授权谈判和法律诉讼作为回应。
而Meta始终致力于将用户留在平台内部，从不承诺带来外部流量。当Meta的爬虫成为开放网络最重的读者时，由于从未有过承诺，也就不存在违约感。但吊诡之处在于：那个将"留住用户"模式做到极致的公司，如今成为他人劳动成果的最大消费者；而被各方谈判的谷歌，正在努力模仿这种模式。
如果平台都试图将用户留存在自己生态内，出版商将失去谈判筹码。旧契约赖以成立的流量正在被淘汰，谈判空间被压缩到仅为训练和供给AI的内容付费。这对大多数出版商而言都是不利位置，除非自身规模足够庞大。
Meta确实会支付费用，但仅限于金字塔顶端：2026年3月，它与新闻集团签署了价值高达每年5000万美元的授权协议，涵盖Meta AI回答和模型训练，同时与CNN、福克斯新闻、今日美国等少数媒体达成了类似安排。这张谈判桌上只坐着几十家最大的媒体品牌，而Meta的爬虫却在读取所有人的内容。
Reddit可以在财报电话会议上讨论授权交易和"可能退出"的选项，但普通商店、博客或行业刊物在2026年无法做到这一点。对出版商而言，唯一诚实的获胜路径是："没有你们，我们也能行"，并真正创造这种现实。建立与受众更直接的联系，打造平台无法稀释的自有渠道，或许这看起来像是向去中心化网络回归的一步。这些方法都不快捷，也不会发生在与谷歌谈判的会议室里。
Meta从未向网站输送过流量，也从未承诺过这一点，因此它的爬虫读取数十亿页面，并未夺走你曾拥有的任何东西，直接成本几乎为零。但这是Meta在未给予补偿的情况下，建立在真实劳动者付出之上的商业模式。无论单个网站能否感受到成本，这不公平的本质不会改变。
DataDome的报告只是这类访问者的初步行为。今天读取你网站的机器，明天可能成为付费阅读或购买的客户。网络依据品牌知名度设定的访问条款，将长期影响未来的访问规则。
对于拥有普通网站的人，诚实的答案是："今天无需行动，但需保持关注。"保持关注意味着了解谁真正在读取你的网站，而非仅关注头条中的AI公司，因为两者正在分化。所有人都能看到的是与谷歌的谈判，而几乎无人关注的是Meta的读取。你的日志文件能区分这两者，即使头条新闻不能。
深入了解技术SEO审计的新维度，可以参考Google关于AI搜索退出的官方说明以及AI代理如何通过可访问性树读取网站的技术文档。
这一趋势对国内内容生态同样具有警示意义。百度、字节跳动等平台的AI产品也在大量抓取网络内容，而内容创作者同样面临流量留存与收益分配的双重挑战。国内大模型如文心一言、通义千问、DeepSeek等在训练数据获取上，也需建立更透明的授权机制。百度推出的AI搜索答案功能，与谷歌AI摘要面临类似的出版商关系问题。
因为Meta从未承诺向网站输送流量，其读取行为不构成对既有契约的破坏，因此未触发出版商的心理损失感。
目前无需立即行动，但应通过服务器日志监控实际爬虫行为，关注Meta爬虫的访问模式，为未来可能的商业条款变化做准备。
谷歌历史上以流量交换内容访问权，其AI摘要截留流量被视为违约；Meta从未提供流量，其读取不涉及契约违约，但涉及公平补偿问题。
建立自有受众渠道，减少对平台流量的依赖，创造平台无法稀释的直接用户关系，是更可持续的策略。
Bingdada 是一个专注 SEO、GEO（生成式引擎优化）与 AEO（答案引擎优化）的内容平台，由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态，为读者提供准确、实用、可落地的方法论与行业洞察。
编辑团队：内容策划 · 技术编辑 · AI 研究组
网站：bingdada.com
© 2026 Bingdada. 保留所有权利。
SEO & GEO 技术探索者，专注于搜索引擎优化和生成式引擎优化。
AI 搜索优化并非全新学科。本文从爬虫准入、内容匹配、事实可抽取、信息一致性与效果监测五个环节，拆解让页面被 AI 引用的可落地方法，并说明 AI 代理能代劳哪些工作。
Cloudflare 推出 Bot Preference Sync，自动生成 robots.txt，解决声明与执行脱节问题。但它按类别而非按爬虫设定，默认开启且无法排除单个爬虫，可能让网站失去对 AI 爬虫策略的精细控制权。
从2003年的“俄罗斯套娃”短语嵌套实践，到AI搜索时代的查询扇出机制，本文揭示了一个被忽视的SEO真相：覆盖多种长度的精确措辞，是捕捉15%全新查询的关键。
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私，随时可以取消订阅。
