四大AI公司宣布采用统一爬虫退出标准

OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项基于 robots.txt 的共享 policy token 标准，让发布方一次性向多家 AI 公司声明不用于 AI 训练的偏好。Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在“未来几个月”内实施。 Microsoft 称将提供更细分的控制，允许发布方分别选择退出 AI 训练或 AI grounding（指向经核实的来源以减少幻觉）；Microsoft 同时表示，无论网站作何偏好，其网页仍会出现在 Bing 搜索结果中。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。