이 글은 간체 중국어입니다. 한국어(으)로 번역하려면 클릭하세요.

AI训练爬虫与搜索索引的博弈：Cloudflare新规如何重塑GEO可见性策略

bingdada

9월 19, 20262회 읽음약 7분 분량

post.quickAnswer

Cloudflare 于2026年9月推出 Disallow AI Training 设置，允许站长通过 robots.txt 屏蔽 Google-Extended 和 Applebot-Extended，从而拒绝AI训练抓取，同时保留 Googlebot、Bingbot、Applebot 的搜索索引权限。早期数据显示训练爬虫拒绝率上升，而AI搜索爬虫拒绝率下降约13个百分点。

post.keyTakeaways

Cloudflare 的新设置将AI训练抓取与搜索索引解绑，搜索爬虫不再被误伤。
Google、Apple、Microsoft 需满足「Accountable」四项条件才能获得豁免，Microsoft 进度最慢。
早期监测显示 GPTBot 和 ClaudeBot 拒绝率上升，OAI-SearchBot 拒绝率从16.9%降至3.0%。
退出训练不等于退出AI答案，站长需分别管理搜索索引、AI训练和AI答案三个维度。
Semrush Site Audit 和 AI Visibility Toolkit 可用于核查爬虫设置并追踪AI答案中的引用变化。

引言：当爬虫被分为三六九等

2026年9月中旬，Cloudflare上线了一项名为「Disallow AI Training」的开关，允许站长在不误伤搜索爬虫的前提下，拒绝AI训练用途的内容抓取。这看似只是一次产品更新，实则标志着内容生态中「索引权」与「训练权」的正式解绑。对于关注 Semrush Blog · GEO / AI Visibility 的从业者而言，这意味着AI可见性的管理颗粒度正在从「一刀切」走向「分层治理」。

从捆绑到解绑：Cloudflare做了什么

过去，Googlebot、Bingbot、Applebot 同时承担搜索索引与AI训练数据采集的双重角色。站长一旦屏蔽其中任何一个，搜索结果中的收录也会一并消失——这种捆绑关系让许多内容方投鼠忌器。

Cloudflare 在9月15日推出的设置改变了这一局面。开启后，Bot Preference Sync 会自动向 robots.txt 写入两条规则：一条针对 Google-Extended，一条针对 Applebot-Extended。这两个 token 仅用于AI训练，不影响常规搜索抓取。Amazon、Anthropic、Meta、OpenAI 早已采用独立训练爬虫，Cloudflare 对其训练爬虫直接拦截，而 ChatGPT 搜索等工具仍可正常读取页面。

Googlebot、Bingbot、Applebot 之所以被「豁免」，是因为 Cloudflare 将其运营商标记为「Accountable」（可问责），前提是满足四项条件：提供 robots.txt 层面的训练退出机制、提供AI摘要退出机制、提供URL级别的训练可见性报告、承诺退出训练不影响搜索排名。

从公开信息看，Google 的URL级报告将在数周内上线，Apple 计划于次年推出，Microsoft 进度最慢——Bingbot 要到2027年初才会读取该 robots.txt 规则。这意味着现阶段若想阻止 Bing 将页面用于训练，只能依赖 NOARCHIVE meta 标签。

早期数据揭示了什么

监测平台 SeenSure 在9月14日与16日两次测试了1,046个网站对八种AI爬虫的响应。其中746个站点使用 Cloudflare，变更后拒绝训练爬虫的比例明显上升：GPTBot 拒绝率从18.9%升至22.0%，ClaudeBot 从19.9%升至22.8%。

更值得玩味的是AI搜索爬虫的变化。Cloudflare 的公告并未提及AI搜索爬虫或智能体的策略调整，但拒绝率却各下降了约13个百分点。以 OAI-SearchBot 为例，变更前有16.9%的 Cloudflare 站点拒绝它，变更后骤降至3.0%。而未使用 Cloudflare 的300个站点则保持平稳。SEO 顾问 Aleyda Solis 在社交平台上分享该发现时指出：「搜索类别的变化幅度最大。」

如果这一趋势延续，ChatGPT 搜索和 Perplexity 将能读取大量此前被拒绝的 Cloudflare 托管页面。

训练退出≠AI答案退出

需要厘清的是，该设置只决定内容能否用于训练模型，并不决定你是否出现在AI生成的答案中。站长实际上面对三个独立决策：搜索索引、AI训练、AI答案。Cloudflare 目前只覆盖训练环节，AI摘要的控制功能预计次年推出。

退出训练并非对所有站点都是最优解。对于不依赖广告的网站，Cloudflare 推荐的默认值仍是允许训练。希望被AI工具「认识」并主动提及的品牌，留在训练数据中可能带来隐性收益——尽管尚无AI公司量化过这种影响。对于靠内容广告变现的发布方，Cloudflare 则建议开启 Disallow AI Training。

还需注意，robots.txt 规则本质是「请求」而非强制，爬虫可以选择忽略。Cloudflare 能检测并拦截违规爬虫，但对 Google、Apple、Microsoft 三家，它依赖的是对方对「Accountable」标准的承诺。Cloudflare 表示将在 Cloudflare Radar 上公开追踪进展。

国内视角：分层治理的本土实践

海外市场围绕 robots.txt 扩展 token 与「可问责」标准展开博弈，国内平台则走出了另一条路径。百度搜索资源平台早已支持通过 robots.txt 屏蔽特定爬虫，但AI训练与搜索索引的分离程度因厂商而异。字节跳动的豆包、月之暗面的 Kimi、深度求索的 DeepSeek 等产品在数据采集策略上各有侧重，多数尚未提供类似 Google-Extended 的独立训练退出 token。

阿里通义千问与智谱 GLM 在企业级内容合作中更倾向于通过授权协议而非爬虫协议来界定训练数据边界。这种差异意味着，面向国内市场的 GEO 策略不能简单照搬 Cloudflare 的配置逻辑，而需结合各平台的内容合作政策单独评估。

如何在 Semrush 中核查AI爬虫设置

Semrush Site Audit 的「Blocked from AI Search」检查会读取 robots.txt 并列出哪些AI爬虫被哪些页面屏蔽。Google-Extended 在该列表中，因此开启 Disallow AI Training 后它会显示为被屏蔽状态。Googlebot、OAI-SearchBot 等搜索爬虫则不应出现在屏蔽列表中。

需要注意的是，Site Audit 仅读取 robots.txt，无法检测在 Cloudflare 防火墙层面设置的拦截。服务器日志可以，因此建议核查目标搜索爬虫是否仍返回200状态码。

AI Visibility Toolkit 则用于验证上述调整是否影响你在AI答案中的出现频率。它跨 ChatGPT、Google AI Mode、AI Overviews 和 Gemini 追踪品牌与页面表现，Visibility Overview 中的 Cited Pages 标签会列出哪些URL被引用、被多少提示词引用。建议在修改设置前记录基线数据，数周后再做对比。

更多关于AI可见性监测的方法论，可参考 Semrush 官方博客以及 Google 搜索中心关于 robots.txt 的文档。