bingdadaOpenAI 宣布将支持 robots.txt 中一种跨提供商的通用信号，网站运营者只需声明一次，即可向多家参与该机制的 AI 提供商传达是否允许内容用于基础生成式 AI 训练。该信号源于 IETF AI Preferences 工作组，不会取代现有爬虫控制规则，预计未来数月内落地。
当生成式 AI 的爬虫频繁造访，网站运营者长期面临一个尴尬局面：每新增一家 AI 提供商，就要单独研究其爬虫标识、单独配置屏蔽规则。这种「打地鼠」式的管理方式不仅耗时，还容易遗漏。OpenAI 近期宣布的一项政策调整，试图改变这一现状——它将支持 robots.txt 中一种跨提供商的通用偏好信号，让网站只需声明一次，就能向多家参与该机制的 AI 公司传达「是否允许内容用于基础生成式 AI 训练」的意愿。
这一动作并非孤立事件，而是源于 IETF（互联网工程任务组） 旗下 AI Preferences 工作组正在推进的标准讨论。OpenAI 表示，自身是参与该信号联合公告的成员之一，并将此次支持视为对 IETF 标准进程的实质性投入。
需要明确的是，这项即将落地的通用信号不会取代 OpenAI 现有的 robots.txt 控制机制。网站管理员此前针对 GPTBot 等特定爬虫设置的允许或禁止规则，将继续被尊重和执行。新信号是在原有体系之上叠加的一层「批量表达」通道，而非替代品。
从 OpenAI 的表述看，该信号预计在未来数月内完成技术实现，届时会另行公布具体实施细节。对于内容发布方而言，这意味着过渡期内无需急于修改现有配置，但可以提前评估是否需要在通用信号上线后同步声明偏好。
过去，网站运营者要维护一份不断加长的「AI 爬虫清单」，每一条规则背后都是一次人工识别与配置。通用信号的价值在于把「一对多」的沟通成本压缩为「一对多的一次声明」。不过，该机制目前仍处于自愿遵守阶段，参与方名单和实际执行力度将决定其真实效果。
OpenAI 在公告中将此举描述为「迈向开放网络的务实一步」——既让信息可被发布和发现，也让网站所有者有更清晰、简单的方式表达内容使用意愿。这一表态背后，是 AI 公司与内容产业之间持续数年的拉锯：训练数据的获取边界、合理使用的范围、以及网站运营者的知情权与选择权。
在 AI 训练数据偏好表达方面，国内平台与模型厂商也在摸索各自路径。例如百度文心、阿里通义千问、DeepSeek、字节豆包、月之暗面 Kimi、智谱 GLM 等厂商，普遍通过服务协议、开发者文档和爬虫声明来界定数据使用范围，但尚未形成类似 robots.txt 通用信号的跨厂商统一标准。部分内容平台选择以「内容授权合作」替代技术信号，通过商业协议明确训练数据的使用边界。这种差异说明，AI 训练偏好的治理既需要技术标准，也离不开产业协作与法律框架的配合。对于关注 OpenAI News 的读者而言，这一信号机制能否被更多厂商采纳，将是观察全球 AI 数据治理走向的重要窗口。
它是 robots.txt 中一种跨提供商的偏好表达机制，网站运营者只需声明一次，即可向多家参与该机制的 AI 提供商传达是否允许内容用于基础生成式 AI 训练。
不会。OpenAI 明确表示，现有 robots.txt 爬虫控制将继续有效并被尊重，新信号是在此基础上增加的批量表达通道。
OpenAI 计划在未来数月内完成实现，具体实施细节将在上线时另行公布。
目前国内厂商多通过服务协议、开发者文档和爬虫声明界定数据使用范围，尚未形成跨厂商的统一 robots.txt 信号标准，部分平台采用内容授权合作模式。
Bingdada 是一个专注 SEO、GEO（生成式引擎优化）与 AEO（答案引擎优化）的内容平台，由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态，为读者提供准确、实用、可落地的方法论与行业洞察。
编辑团队：内容策划 · 技术编辑 · AI 研究组
网站：bingdada.com
© 2026 Bingdada. 保留所有权利。
SEO & GEO 技术探索者，专注于搜索引擎优化和生成式引擎优化。
OpenAI 更新模型规范，用五大价值重组行为准则，从字面执行转向意图理解。本文解析其结构变化、训练路径与对开发者的实际影响，并对比国内大模型的对齐实践。
Retell AI 月通话量突破 1 亿通，80% 回复由 OpenAI 模型生成。本文从评测基准、延迟容灾、Codex 研发提效三个角度，拆解语音智能体走向生产可用的关键条件。
Greptile 借助 GPT-6 Astra 的计算机使用能力，把缺陷检测从代码审查推进到应用行为验证，并结合 Daybreak 与 Codex 构建质量闭环，本文解析其思路与国内同类进展。
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私，随时可以取消订阅。
