AI 全域增长服务商 · 你身边可信赖的专家 累计交付 743 个项目 · 源码全额交付 · 分项报价
打电话聊 在线留言

客户怕AI抄内容把爬虫全挡了,我们给他算了笔训练和引用的账

客户担心资料被AI训练,把爬虫全部屏蔽,结果ChatGPT里也没了他。四巨头推出统一训练退出信号,训练与引用可分开表态,附三条抓取侧检查清单。

首页/ AI 增长观察/ 客户怕AI抄内容把爬虫全挡了,我们给他算了笔训练和引用的账
AI 增长观察
发布:2026-11-20 浏览:452 作者:好小蚁科技

本文来自项目一线经验记录,非网络转载。

上周一位做设备外贸的客户打电话来,说看了新闻担心产品资料被AI拿去训练,让IT把网站里的AI爬虫全挡了。我们查完发现,连ChatGPT搜索收录用的那只爬虫也被一起挡了。这事得拆开讲。

他的IT是在robots.txt里写了「User-agent: * Disallow: /」,把所有爬虫一锅端。这个写法等于同时告诉搜索引擎和AI:整个站都别来。之前他们公司在ChatGPT回答采购类问题时被引用过两次,屏蔽之后一周再问,答案里只剩同行。客户着急,倒不是心疼流量,而是那句被AI带出去的公司名没了。

屏蔽的理由能理解,方式太一刀切

其实10月30日起,这件事有了新的处理方式。OpenAI、谷歌、微软、Anthropic四家共同表态,支持IETF的统一训练退出信号,草案编号是draft-kelley-aipref-training-preference-signal。写法是在robots.txt里声明一行统一令牌,一次声明,几家都认。IT之家11月1日报道了机制细节:Anthropic已经支持,OpenAI计划未来数月落地,谷歌和微软排在明年,Meta也表态支持。「要不要被训练」第一次有了正式的表达渠道,不需要靠全站屏蔽来表态。

训练和引用,现在可以分开表态

这次变化里最关键的一条来自微软:训练和引用拆成两个独立开关。训练指内容被拿去喂模型;引用指AI回答时实时抓取你的页面、把链接带进答案。微软的方案允许网站拒绝训练、同时保留被引用,而且这两个设置都不影响必应搜索的正常排名。谷歌这边有个坑要注意:如果声明了统一退出信号却没有单独放行Google-Extended,可能被同时视为退出了Google-Extended,而这个控制可能连带Gemini的引用场景,官方还没直接确认,得以文档更新为准。同一行声明,几家平台的解读并不一样,改之前要逐家核对。

想进ChatGPT搜索,先过这三道门

OpenAI官方说明写得很直接:网站要参与ChatGPT搜索,需允许OAI-SearchBot抓取,并确认主机、CDN和防火墙没有拦截OpenAI公布的爬虫IP段,官方在openai.com/searchbot.json发布各爬虫的IP范围。我们给客户列的检查单就三条:

  • robots.txt里单独检查OAI-SearchBot,别跟GPTBot写成同一条规则——GPTBot管训练,OAI-SearchBot管搜索,两个开关互不影响;
  • 有WAF或CDN机器人防护的,对照官方IP范围确认没被拦,日志里403多半是安全策略挡的,429是频率限制;
  • robots.txt改完等约24小时生效,再用一个具体的业务问题去ChatGPT里实测有没有你的链接。

我们的建议:默认放行搜索,训练单独决定

复盘下来,多数企业站的真实诉求是「怕辛苦整理的资料喂了别人」,而不是「不想被AI提到」。这两个诉求对应的操作完全不同:前者管的是GPTBot这类训练爬虫和统一退出信号,后者恰恰需要放行OAI-SearchBot。只有付费内容、独家数据占比高的站点,才值得认真考虑退出训练;普通企业站全站退出训练,等于放弃了让模型记住你的机会——不联网检索的时候,AI可能根本答不上你。

客户后来把robots.txt改成了三段:OAI-SearchBot和搜索引擎放行,GPTBot先放行等行业资料敏感度评估,Google-Extended单独写一条明确放行。三天后复测,ChatGPT的回答里公司名回来了。robots.txt从1994年用到现在,第一次有了「按用途表态」的能力,别再拿它一刀切。

看到这里,说明你在认真考虑

先聊十分钟免费诊断,拿到问题判断和价格区间,不合适直说,无需签全案

文章说的是通用做法,你的具体情况可能有差异。打电话比继续看文章更快。

免费诊断 · 10 分钟

先聊十分钟免费诊断,拿到问题判断和价格区间,不合适直说,无需签全案

不合适我们会直接说明,不必先签全案。咨询优先走电话或微信。