博客文章

Cloudflare 推出 Bot Preference Sync，自动生成 robots.txt，解决声明与执行脱节问题。但它按类别而非按爬虫设定，默认开启且无法排除单个爬虫，可能让网站失去对 AI 爬虫策略的精细控制权。

bingdada

2026-09-19141约 6 分钟阅读

Cloudflare 推出 Disallow AI Training 新设置，将拒绝 AI 训练与阻止搜索抓取彻底分离。Googlebot、Applebot、Bingbot 在满足 Accountable 条件时仍可抓取搜索，网站不再被迫二选一。

bingdada

2026-09-1680约 7 分钟阅读

同一爬取与引荐比率被反复引用，却出现70,900比1到2,237比1的巨大差异。问题不在方法，而在分母中隐藏的四层变量。

bingdada

2026-09-11127约 8 分钟阅读

WebMCP 在 2025 年 8 月迎来关键落地，Shopify、Cloudflare 与 OpenAI 的协同推动，使其从浏览器实验变为连接 AI 代理与网站功能的现实桥梁，并引发了对控制权、安全与 SEO 策略的新思考。

bingdada

2026-08-29164约 9 分钟阅读

Cloudflare 预测未来五年机器流量将达人类流量的 1000 倍。本文深入剖析其数据背后的安全隐忧：AI 爬虫可能沦为凭证扫描器，攻击者已开始针对 AI Agent 配置文件发起攻击，并给出应对策略。

bingdada

2026-08-15199约 8 分钟阅读

TollBit报告显示ChatGPT-User机器人访问大量被robots.txt禁止的页面，OpenAI称用户请求可豁免规则。文章解析了AI爬虫行为差异、行业应对策略及Cloudflare的网络层管控新趋势。

bingdada

2026-08-15197约 7 分钟阅读

Cloudflare推出Wallets与cloudflare.pay，为AI代理提供稳定币支付和身份标识，重塑内容访问与商业规则。企业需重新思考免费试用、身份验证和流量管理策略。

bingdada

2026-08-13146约 6 分钟阅读

Cloudflare 新的 AI 训练机器人拦截功能可能误伤 Googlebot 和 Bingbot，导致网站无法被索引。本文分析了事件原因、官方政策变更，并为 SEO 从业者提供了具体的应对建议。

bingdada

2026-08-05210约 5 分钟阅读