AI 看不见你的品牌，先查门再查内容：robots.txt 是否挡了答案型爬虫、防火墙与 CDN 的默认拦截、关键信息是否锁在图片 PDF 和点击之后。分清训练型、答案型、用户触发型三种爬虫，三处自查配一张清单，整改后按同口径复测。
一个越来越常见的场景：官网内容齐全，公众号也在更新，可拿客户常问的问题去问 AI，回答里就是没有你——或者提了你，说的还是几年前的老信息。老板的第一反应是“内容不够多”，于是加预算、加产量。但如果门是关着的，在里面堆再多货也没人看得见。
先扔一个今天就能做的动作：在浏览器里打开“你的域名/robots.txt”，数一数里面挡了哪些 AI 爬虫。这一篇就是带你把这类动作做完——三处查完，“AI 为什么看不见我”这个问题，多半能自己查出七八分。
交代一下系列位置：这是实操篇。怎么选服务商、怎么验收效果，前面几篇讲过；这一篇管更靠前的一步——确认 AI 到底进不进得了你家的门。单独读也没问题，清单是自足的。
选服务商六问那篇里有个问题：“AI 现在看不上我们，你们查得出为什么吗？”当时说过，原因有时不在内容，在技术。
先给结论：**AI 看不看得见你，第一道关卡不是内容质量，是抓取通道。**通道被挡，内容再好也是灯下黑。自查就三处：robots.txt（门上的留言条）、防火墙和 CDN（门锁本身）、页面形态（门开了，货摆没摆到看得见的位置）。
先分清三种爬虫：挡错了人，比不挡更糟
AI 公司的爬虫，按用途大致分三类：
- 训练型，来“学”的：抓走内容用于训练下一代模型，比如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、字节跳动公开使用的 Bytespider。挡住它，影响的主要是“未来的模型记不记住你”。
- 答案型，来“查”的：用户提问的当下，现场来读你的页面——ChatGPT 搜索索引用的 OAI-SearchBot、Anthropic 的 Claude-SearchBot、Perplexity 的 PerplexityBot 都属于这类。挡住它，等于从“用户提问的现场”直接消失——今天的回答就引用不到你。
- 用户触发型，替人跑腿的：你让 AI“打开这个网页看看”，它才出现，比如 ChatGPT-User、Claude-User。行为更像浏览器，来一次读一页，不是批量抓取。
行业里流传一句很准的话：挡 AI 训练可以，别挡 AI 答案。这不是哪家的官方标准，是从各家爬虫政策里长出来的实践共识。
还有一个关键机制，多数老板不知道：robots.txt 是按爬虫的名字逐一管理的。你挡了 GPTBot，既不影响 OAI-SearchBot 进门，也不影响 ChatGPT-User 替用户跑腿。“不想被拿去训练、但想被 AI 回答引用”这个最常见的需求，技术上完全做得到——前提是别用一把锁锁整个门。
要说清楚的边界有两层。第一，哪些爬虫属于哪类、各家政策怎么约定，以各家官方文档为准，而且一直在变。第二，挡不挡是你的权利：如果企业基于版权保护、内容授权或合规考虑，决定把 AI 挡在门外，那是正当的商业决定——本篇不劝你放行，只帮你看清门现在的状态，别在不知情的情况下被默认设置做了主。
第一处：robots.txt——门上的留言条
robots.txt 是官网给爬虫留的一张声明，写在“你的域名/robots.txt”这个地址下，浏览器直接打开就能看。它的性质是“留言”：守不守规矩取决于来的是谁，不是强制门禁。
**自查动作：**现在就打开“你的域名/robots.txt”，看 Disallow（禁止）名单里有没有答案型爬虫的名字。看不懂就截图发给技术，问一句：这里面挡了哪些 AI 的爬虫，各属于哪一类？
两个方向相反的常见误会：
- 以为挡了 GPTBot，就等于从所有 AI 里消失——错，OAI-SearchBot 照样能进来；
- 以为挡了训练型就万事大吉——也错，如果顺手把答案型一起挡了，今天的回答就引用不到你。
还有一点要如实说：robots.txt 是行业通行的约定，绝大多数正规爬虫遵守，但有过个别爬虫不遵守的公开讨论。所以它是第一道检查，不是唯一一道。
第二处：防火墙和 CDN——门锁本身
robots.txt 只是留言，真正执行门禁的是防火墙和 CDN。这里的行业环境刚发生一个大变化：2025 年 7 月 1 日，Cloudflare 宣布把 AI 爬虫的默认待遇从放行改成拦截——对之后新建的域名，默认就是挡；同日上线的，是让网站按次向 AI 公司收费的付费抓取市场。
两个数字要分开看，别混成一句：
- 在此之前，已有一百多万客户是主动开启过一键拦截的——那是存量客户自己的选择；
- 默认值翻转，管的是之后的新域名——新官网从第一天起就是“默认挡”。
合起来读才是完整的趋势：无论新老官网，“挡不挡 AI”越来越不取决于你写没写过规则，而取决于你用的是哪家网络服务、它的默认值是什么、有没有人在后台改过它。很多企业是被自己技术栈里的一个默认开关做了主，而主人还没见过那个开关。
顺带对一下口径：Cloudflare 给爬虫的分类和本篇叫法不同——它把“搜索类”单列（大致对应本篇的答案型），把用户触发型归进“代理类”。它的默认拦截聚焦训练和代理类，搜索类一般默认放行。但分类和默认值都由平台随时调整，具体到你的网站拦了哪几类，要看自家后台，不用背名册。
**自查动作：**问技术或托管商三个问题：
- 我们的 CDN 或防火墙，开了 AI 爬虫拦截吗？拦的是哪几类，答案型在不在放行名单里？
- 访问日志里，最近有没有答案型爬虫来过？——这步不难为技术：让他在日志里按 user-agent 字段筛一下 OAI-SearchBot、PerplexityBot，有没有记录一眼便知。
- 有没有人机验证、付费墙这类设置，可能把 AI 和真人一起挡在外面？
一个有用的症状线索：如果官网改版、换建站系统或上安全策略之后，AI 突然“不认识”你了，先查防火墙日志，再查内容——这类“消失”多半是门被换掉了。
第三处：页面形态——门开了，货要看得见
爬虫进门之后，读的是纯文字。关键信息如果锁在三处，等于没摆上货架：图片里（参数做成海报）、PDF 里（产品手册只能下载）、点击后才出现（内容靠脚本动态加载）。
**自查动作：**在浏览器里禁用 JavaScript，或用阅读模式打开首页、产品页、关于页，看三样东西还在不在：我们是谁、卖什么、凭什么信。能被鼠标选中复制的文字，AI 才读得到；一张精美的参数图，AI 读到的只是一个空页面。
教学示例：改版之后，AI 不认识我们了
假设一家企业官网改版，顺带上了新的安全防护。三个月后发现 AI 回答里没了这家公司，内容团队加急产了一批文章，毫无起色。技术排查访问日志，发现答案型爬虫的访问全被防火墙当成可疑流量拦了——门的问题，不是货的问题。调整放行规则几周后，AI 的引用逐步回来。三处自查，这一家卡在第二处。
本例用于说明排查顺序，不代表任何真实企业。
一张自查清单
把三处整理成可以直接对照的表：
| 检查项 | 在哪查 | 正常长什么样 | 要修的信号 |
|---|---|---|---|
| 答案型爬虫是否被挡 | 浏览器打开 你的域名/robots.txt | Disallow 里没有 OAI-SearchBot、PerplexityBot、Claude-SearchBot 这类答案型名字 | 答案型爬虫出现在 Disallow 名单里 |
| 训练型爬虫的取舍 | 同上 | 挡或不挡都正常，但要是知情的选择 | 挡了 GPTBot 却以为已从 AI 消失，或反之 |
| 防火墙/CDN 拦截 | 问技术：AI 拦截开关＋访问日志（按 user-agent 筛答案型爬虫） | 访问日志里见过答案型爬虫 | 日志里从没出现过答案型爬虫，或拦截记录里有它们 |
| 关键信息可读形态 | 禁用 JavaScript 打开关键页面 | 我们是谁、卖什么、凭什么信是可复制的文字 | 关键信息只在图片、PDF 或点击后才出现 |
| llms.txt（可选加分项） | 浏览器打开 你的域名/llms.txt | 有则更好，没有不扣分 | 前四项没查，先去折腾了 llms.txt |
关于 llms.txt 多说一句：这是近两年出现的给 AI 的“导购图”，成本很低，但截至目前还没有哪家平台官方确认它能带来明显收益——值得顺手加上，别指望它替代前四项。
最后一步是复测：整改之后，按验收那篇的口径来——同一组问题、同样的平台和条件，隔一两周对比一次。放行爬虫只是必要条件，不是充分条件；门开了，货要靠内容和事实治理慢慢摆上去，那是另外几篇讲过的事。
最后
AI 看不见你，最冤枉的输法是门被自己人关了：robots.txt 里抄来的一条规则、CDN 后台一个没人注意的默认值、一张替代了文字的参数图。
**先查门，再查内容。**今天就能做的动作：打开“你的域名/robots.txt”看一眼，再让技术按 user-agent 筛一下访问日志——答案型爬虫来没来过，这一个信息就能把“AI 为什么不认识我”拆掉一大半。至于查完之后决定放行还是全挡，是你的商业决定；这篇只保证一件事：别让门在你不知情的时候被关上。
留一个小作业：把你们家的 robots.txt 打开数一数，挡了几个 AI 爬虫、大概属于哪一类；拿不准的截图问一句技术。查完欢迎邮件聊聊你发现了什么。
下一篇聊一个更往前看的变化：AI 推荐名单正在变成货架：你的品牌上架了吗——代理式购物落地之后，“被 AI 推荐”和“完成购买”正在合并成同一个动作。