bingdada是的，Cloudflare 的 AI 训练拦截功能可能将 Googlebot 归类为混合用途爬虫并误伤，导致网站无法被索引。站长应检查 Cloudflare 设置，避免全局拦截 AI 训练，并监控抓取日志以确保搜索引擎可正常访问。
近期，有报告指出使用 Cloudflare 的 AI 训练机器人拦截功能，可能会导致 Googlebot 和 Bingbot 等合法搜索引擎爬虫无法正常索引网站。这一现象引发了 SEO 社区的广泛关注。Cloudflare 官方也已在公告中确认，从今年 9 月开始，将调整相关策略，届时混合用途的爬虫（如同时用于搜索索引和 AI 训练的 Googlebot）可能会被默认拦截。
用户的发现 一位 Reddit 用户在 r/SEO 社区发帖，称其在测试 Cloudflare 新推出的“AI Crawlers & Scrapers”功能时，遇到了意外情况。该用户表示：“当我将 AI 训练设置为‘拦截’时，Googlebot 和 Bingbot 在尝试抓取我的 sitemap 时开始收到 HTTP 403 错误。一旦我禁用 AI 训练拦截，sitemap 又可以正常访问了。” 该用户进一步指出，根据他的理解，Cloudflare 现在将 Googlebot 和 Bingbot 归类为“搜索+训练”机器人，因此启用训练拦截会影响它们。这让他陷入了两难：允许 AI 训练以换取搜索引擎的正常抓取，还是拦截 AI 训练而冒着 Google/Bing 抓取失败的风险。 Google 的搜索倡导者 John Mueller 对此回应，要求该用户发送私信以便进一步调查。也有其他用户猜测，这可能是 Cloudflare 拦截了伪装成 Googlebot 的恶意爬虫。但原帖作者澄清，问题并非如此，并提供了更多细节：“Cloudflare 仪表盘显示，当我启用 Bot Fight Mode 时，上传 sitemap 返回 403 错误。禁用后，403 消失。此外，在 AI 爬虫部分，Cloudflare 显示 Googlebot 和 Bingbot 被自动拦截。”
官方公告与政策变更 根据 Cloudflare 官方公告，从 2026 年 9 月 15 日开始，Cloudflare 将对新域名启用更新的默认设置：在显示广告的页面上，被归类为“训练”或“代理”的机器人将被拦截，而“搜索”机器人仍被允许。同时，所有用于拦截 AI 训练的配置（包括旧的“Block AI bots”选项）也将拦截混合用途的爬虫。 Cloudflare 在公告中解释：“混合用途的爬虫，例如同时为搜索索引和 AI 训练收集数据的 Googlebot，将被所有配置拦截。”这意味着，如果站长启用了 AI 训练拦截，Googlebot 的访问可能会受到影响。虽然该政策计划在 9 月生效，但已有用户报告提前遇到了类似情况，这提醒我们应提前检查并调整相关设置。
从业者的影响与建议 这一变化对依赖搜索引擎自然流量的网站来说至关重要。如果 Googlebot 无法抓取网站，将直接导致页面无法被索引，进而严重影响搜索排名。 以下是几点实用建议： 1. 检查 Cloudflare 设置：立即登录 Cloudflare 仪表盘，查看“AI Crawlers & Scrapers”和“Bot Fight Mode”等设置，确认是否存在可能误伤合法爬虫的配置。
为什么要把 Googlebot 归类为“搜索+训练”机器人？ Cloudflare 将同时用于搜索索引和 AI 模型训练的爬虫定义为“混合用途”机器人。由于 Google 等公司会将抓取的数据用于训练其 AI 模型，因此这些爬虫在 Cloudflare 的新分类中被归为此类。
被拦截，我的网站会怎样？ 如果 Googlebot 无法抓取你的网站，你的网页将不会被 Google 索引，这意味着它们无法出现在搜索结果中，从而导致自然流量大幅下降。
Googlebot 的情况下阻止 AI 爬虫？ 你可以创建 WAF 自定义规则，仅拦截已知的特定 AI 爬虫（例如 GPTBot、ClaudeBot 等），或者通过 robots.txt 文件进行管理。同时，确保不要启用 Cloudflare 的全局“Block AI Training”选项。
403 错误，该如何解决？ 首先，检查 Cloudflare 仪表盘中的“AI Crawlers & Scrapers”和“Bot Fight Mode”设置，暂时禁用这些功能。然后，清除 Cloudflare 的缓存，并等待一段时间后再次尝试抓取。如果问题持续，建议联系 Cloudflare 支持团队。
Cloudflare 对 AI 爬虫的拦截政策调整，为 SEO 社区带来了新的挑战。站长们需要平衡 AI 内容保护与搜索引擎抓取之间的关系。通过主动检查配置、监控抓取状态并关注官方更新，可以最大限度地降低误伤风险，确保网站健康的搜索可见度。
Bingdada 是一个专注 SEO、GEO（生成式引擎优化）与 AEO（答案引擎优化）的内容平台，由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态，为读者提供准确、实用、可落地的方法论与行业洞察。 编辑团队：内容策划 · 技术编辑 · AI 研究组 网站：bingdada.com © 2026 Bingdada. 保留所有权利。
SEO & GEO 技术探索者，专注于搜索引擎优化和生成式引擎优化。
Cloudflare 推出 Bot Preference Sync，自动生成 robots.txt，解决声明与执行脱节问题。但它按类别而非按爬虫设定，默认开启且无法排除单个爬虫，可能让网站失去对 AI 爬虫策略的精细控制权。
Cloudflare 推出 Disallow AI Training 新设置，将拒绝 AI 训练与阻止搜索抓取彻底分离。Googlebot、Applebot、Bingbot 在满足 Accountable 条件时仍可抓取搜索，网站不再被迫二选一。
谷歌 DeepMind 联合高校发布论文，提出用自回归排序（ARR）取代传统两阶段搜索排序架构。本文深度解读其技术原理、实验结果及对 SEO/AEO 的潜在影响。
獲取最新的 SEO 與 GEO 技術資訊。
我們尊重您的隱私，隨時可以取消訂閱。
