博客文章

Cloudflare 推出 Disallow AI Training 新设置，将拒绝 AI 训练与阻止搜索抓取彻底分离。Googlebot、Applebot、Bingbot 在满足 Accountable 条件时仍可抓取搜索，网站不再被迫二选一。

bingdada

2026-09-1619约 7 分钟阅读

Common Crawl 分析超 50 万 llms.txt 文件，发现 68% 来自模板，22% 无链接，部分网站误将其当作 robots.txt 使用。文章解析数据背后的认知鸿沟，并给出正确应对 AI 爬虫的实践建议。

bingdada

2026-09-0973约 9 分钟阅读

TollBit报告显示ChatGPT-User机器人访问大量被robots.txt禁止的页面，OpenAI称用户请求可豁免规则。文章解析了AI爬虫行为差异、行业应对策略及Cloudflare的网络层管控新趋势。

bingdada

2026-08-15151约 7 分钟阅读

Common Crawl 每月抓取超 20 亿网页，是 AI 训练数据的主要来源。本文介绍了其发布的 AI 可见性审计手册，并展示了如何通过自动化工具检查和管理你的网站在 AI 训练数据中的存在感。

bingdada

2026-08-11153约 9 分钟阅读

Google 的 John Mueller 和 Martin Splitt 在播客中警告，滥用站内搜索功能生成垃圾页面可能导致网站被标记为“被黑”。本文详细解析了这一问题的原理、风险，并提供了通过 robots.txt 和 noindex 防止搜索垃圾信息的实用建议。

bingdada

2026-08-02152约 5 分钟阅读

Google的John Mueller回应了关于Squarespace自动生成内部URL的SEO问题，强调这类链接不会影响搜索排名。本文深入分析CMS平台内部机制，解释为何这些链接可以安全忽略，并提供SEO优化建议。

bingdada

2026-08-02168约 5 分钟阅读