robots.txt怎么设置：AI爬虫的放行与限制 - 郑州初乐科技

有些网站为了不让内容被拿去训练AI，把名字里带“AI”“GPT”的爬虫统统屏蔽了，过一段时间发现，自己在ChatGPT的搜索回答里再也出现不了。问题出在把几类用途不同的访问当成了一回事。

三类访问，目的不同

OpenAI的抓取器大致分三种。GPTBot用于收集可能用于模型训练的内容；OAI-SearchBot为ChatGPT的搜索功能建立索引，决定网站能不能出现在搜索回答里；ChatGPT-User则对应用户在对话中让它去访问某个网页的情形。OpenAI说明这几项设置相互独立，所以可以屏蔽GPTBot，同时放行OAI-SearchBot。按OpenAI的说法，选择退出OAI-SearchBot的网站，不会出现在ChatGPT的搜索答案里，最多留下导航性质的链接。

谷歌这边的规则不同

谷歌的AI概览和AI模式都是谷歌搜索的功能，用的是Googlebot抓取并建立的同一份索引，没有单独的AI爬虫可以开关。常被提到的Google-Extended，其实不是一个独立的爬虫，只是robots.txt里的一个控制标记，管的是内容能否用于Gemini模型的训练，以及谷歌其他系统里的相关用途。按谷歌的说明，它不影响网站在谷歌搜索中的收录，也不是排名信号。也就是说，屏蔽Google-Extended并不能让页面退出AI概览，放行它也不会因此多出现。

如果想限制谷歌搜索（包括它的AI功能）对某个页面的展示，谷歌给的办法是nosnippet、data-nosnippet、max-snippet和noindex这几个页面级的指令。不过它们对普通搜索结果的展示也同样生效。

robots.txt之外，还有什么会挡住AI

robots.txt只管“允不允许抓取”，写了允许，不等于一定抓得到。网站前面的CDN、防火墙和机器人防护规则，可能把这些抓取器当成可疑流量拦在门外，而这在robots.txt里是看不出来的。内容必须登录才能看，或者主要靠JavaScript在浏览器里渲染出来，一些抓取器也可能读不到正文。被标为noindex的页面，通常也不会被基于搜索索引的AI答案使用。

怎么检查，怎么决定

先把网站的robots.txt打开看一遍，确认没有一条泛用规则误伤了OAI-SearchBot或Googlebot；再看服务器日志里这些抓取器有没有来访，有没有被返回错误；最后核对一下CDN和防火墙的设置。

至于是否允许训练类的抓取，是另一个决定，取决于企业对内容使用的态度，和能不能被AI搜索引用不是一回事，可以分开考虑。放行只是给了它读到页面的机会，不保证被引用。各家提供商也会调整抓取器的名称和规则，我们建议每隔一段时间对照官方文档核对一次。