AI未开源软件工具

四大厂同意同一个「别拿我内容训练 AI」开关：robots.txt 加一行就够，但要等到 2027 年

2026年11月1日1 次阅读
四大厂同意同一个「别拿我内容训练 AI」开关：robots.txt 加一行就够，但要等到 2027 年

一句话先说结论：Google、OpenAI、微软、Anthropic 同意认同一个 robots.txt 写法 __usage_ai-training，网站主以后不用再给每家的爬虫分别写规则；Anthropic 已经开始支持，OpenAI 说「未来几个月」，微软 2027 年 2 月 1 日，Google 2027 年初。

这到底是什么

网站根目录下那个 robots.txt，本来是给搜索引擎爬虫看的「门牌」：哪些页面能进，哪些不能进。后来 AI 公司也来抓内容训练模型，站长只能一家一家地加规则——拦 GPTBot 写一段，拦 ClaudeBot 写一段，拦 Google-Extended 再写一段。同一件事写五遍，漏一个就等于没拦。

这次的变化是：把「我不希望我的内容被用来训练生成式 AI」变成 robots.txt 里的一个通用标签（草案里叫 policy token），写法是这样的：

```

User-Agent: __usage_ai-training

Disallow: /

Allow: /press-kit/

```

意思很直白：所有认这个标签的 AI 爬虫，整站别抓，但新闻资料页可以抓。上面这段就是 IETF 草案里的示例。

这份草案由 Anthropic 的标准负责人 Kevin Kelley 提交到 IETF 的 AI Preferences 工作组，2026 年 10 月 30 日公开。同一天，Google、OpenAI、微软先后表态支持。Google 的搜索官方博客由 John Mueller 署名，明确写了会把它当成「等同于禁掉 Google-Extended」来处理。

为什么这件事对普通人也重要

因为它决定了以后网上还有多少「人写的东西」可供模型学习。

过去两年，媒体和独立博客的抱怨很具体：内容被拿去训练，流量却被 AI 摘要截走，钱一分没有。Cloudflare 在 7 月已经直接让 AI 爬虫「付费或滚蛋」，澳洲 ABC 和 SBS 也在要求 AI 公司为新闻付费。这次四大厂同意一个统一开关，是这条路线上第一次出现「大家用同一套语法说话」。

对普通读者的影响是间接但真实的：如果站长能低成本地表达「别拿去训练」，愿意继续公开写东西的人会多一些；反过来，如果这个开关最后只变成一句客气话，那内容生态继续往付费墙和封闭社区收缩。

四家的时间表不一样，这点最容易被忽略

  • Anthropic：草案作者，已经着手在自己的服务里加支持。Kelley 自己说「要覆盖所有服务、处理各种边界情况，还需要一些时间」。
  • OpenAI：公告说「未来几个月」内实现，现有的 GPTBot 等单独控制继续有效。
  • 微软：2027 年 2 月 1 日起执行，并会取代它自 2023 年用的 NoArchive / NoCache 标签；同时另推一个叫 AI Grounding 的开关，管的是「AI 回答时实时读网页」这件事，跟训练是两码事。
  • Google：2027 年初。它特别说明：如果站点用了这个通用标签、又没有单独写 Google-Extended，Google 会按「禁掉 Google-Extended」理解；反过来，明确允许 Google-Extended 的站点，才有机会出现在 Gemini 应用的回答里并被点击。

Meta 只是由传播负责人 Andy Stone 在 X 上表态「支持这个方向」，没有承诺什么时候执行。

怎么用：三步就能改完

第一步，先把现在的 robots.txt 备份一份。这个文件写错会直接影响搜索收录，改之前留个底。

第二步，在文件里加一个独立的 group，就是上面那三行；Disallow 后面写你不想被用于训练的路径，想放开的目录（比如新闻资料、产品文档）用 Allow 单独列出来。语法跟原来的 robots.txt 完全一样，没有新指令、没有新格式，这是草案特意强调的。

第三步，验证。用 curl https://你的域名/robots.txt 确认线上生效；再去 Google Search Console 的 robots.txt 报告里看一眼有没有解析报错。各家真正开始执行的时间不同，所以在 2027 年上半年之前，这个标签更像「提前挂牌」，别指望今天加上明天就没人抓。

适合谁，不适合谁

适合：有原创内容、又不想被白拿去训练的站长；做媒体、文档站、作品集的人；给客户做站的开发者——以后可以少维护一份「每家爬虫一份规则」的清单。

不适合指望它解决所有问题的人。这份草案写得很清楚：它表达的是「偏好」，不是命令。站点和 AI 公司之间的私下协议可以覆盖它；它也不能追溯——已经被抓走的内容，不会因为你今天加了标签就退回去。它还不影响你在搜索结果里的排名，那是另一套规则。

还有两个现实限制。一是草案目前只是个人提交的 Internet-Draft，IETF 官方并未背书，有效期到 2027 年 5 月，随时可能被改写或替换。二是「不参加」的公司照样可以无视它——Meta 现在就是这个状态。

常见错误，提前避开

  • 只写 User-Agent: __usage_ai-training 却忘了 Disallow，等于没表态。
  • 以为它能替代 Google-Extended。两者并存：通用标签表达大范围态度，厂商专属标签做精细调整。
  • 把「禁止训练」和「禁止被 AI 回答引用」混成一件事。后者是 grounding，微软和 OpenAI 都另有一套开关；关掉 grounding 会明显减少内容在 AI 回答里的曝光。
  • 在 robots.txt 里写注释性中文说明。语法上允许，但各家解析器行为不一致，能不加就不加。

现在就该做的

如果你的站点内容有价值，先把 group 加上——成本几分钟，早加早表达态度，等厂商陆续生效时你已经就位。同时保留现有的厂商专属规则，别急着删。然后盯三个时间点：Anthropic 的全面铺开、OpenAI 的「未来几个月」、2027 年 2 月 1 日微软生效。

本文事实以 Google 搜索官方博客与 IETF 草案原文为准；OpenAI、微软、Anthropic 的具体表态与时间表，基于多家媒体转述整理（The Verge、Engadget、SiliconANGLE、The Next Web、Search Engine Land）。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...