Ahrefs · 7:58 · 发布 2026-05-13 · 4147次观看(截至抓取) · 观看原视频
主旨
从 robots.txt、JS 渲染、页面速度、HTML 结构、schema、404 六个技术面,检查并修复那些会让 AI 爬虫抓不到或读不懂你内容的配置问题。
核心论点
- 很多站在毫不知情的情况下屏蔽了 AI 爬虫——先去查 robots.txt,别让模板或平台默认规则把你挡在 ChatGPT 之外。(→ 详解1)
- llms.txt 目前没有任何主流 LLM 厂商正式支持,不值得优先投入——真正决定命运的仍是 robots.txt。(→ 详解2)
- ChatGPT 的爬虫不渲染 JavaScript,依赖 JS 才能加载的内容对它等于一片空白,解法是服务端渲染(SSR)。(→ 详解3)
- 页面速度对实时 AI 检索比对传统搜索更关键——太慢的页面会在打分前就被丢弃。(→ 详解4)
- 逻辑清晰的 HTML 结构让 AI 更容易正确分块提取,因为 AI 会在任意标题边界切分你的内容。(→ 详解5)
- Schema 对 AEO 的直接证据不明,但无害——已经在用就留着,不必为 AEO 专门大投入。(→ 详解6)
- AI 会编造出你站上不存在的 URL,把这些有稳定流量的 404 重定向到相关真实页,就能回收本会流失的访客。(→ 详解7)
知识点详解
1. robots.txt 与 AI 爬虫黑名单 00:49
robots.txt 是站点根目录下告诉爬虫「哪些能抓、哪些不能」的文件。如今要提防的不只是 Google 的爬虫,还有一批 AI 专用爬虫:OpenAI 的 GPTBot 与 OAISearchBot、Anthropic 的 ClaudeBot、Google 的 Google-Extended。任何一个被 disallow,就等于叫这些平台别来抓你——它们不知道你写了什么,自然不会推荐你。
问题在于屏蔽往往是无意的。很多站从模板或旧配置里继承了 robots.txt 规则,有些平台还默认加屏蔽。视频点名 Cloudflare 的「instruct AI bot traffic with robots.txt」功能现已默认开启 01:44,开着时它会自动改写你的 robots.txt 声明「内容不用于 AI 训练」——挂在 Cloudflare 上的站可能就这样在不知情下屏蔽了 AI。
规模不小:据 Ahrefs 数据,1.4 亿网站中约 5.9% 屏蔽了 GPTBot 00:30,等于数百万个站对 ChatGPT 隐形。
自查很简单:访问 yourdomain.com/robots.txt,搜 GPTBot、ClaudeBot、Google-Extended、OAISearchBot,任何一条旁边有 disallow 就是在屏蔽。这是 AEO 技术侧的第一道也是最要紧的关。
2. llms.txt:看着有用但暂无人支持 02:35
llms.txt 是一个提议中的标准,理念类似 robots.txt,但专为「告诉 AI 系统你的站是什么」而设。做法是在 yourdomain.com/llms.txt 放一个文件,概述你是谁、站点覆盖什么、最重要的内容在哪。
理论上有用,但现实是没有任何主流 LLM 厂商正式支持它 03:01:OpenAI 不用;Anthropic 自己站上发布了一个,却没确认爬虫真会读;Google 也没采纳。
结论务实:做一个大概不会有坏处,但别把它排在本课其他事项之前。当下真正起作用的文件仍是 robots.txt。
3. JavaScript 渲染与服务端渲染 03:27
不同 AI 平台对 JavaScript 的处理能力不一:Gemini 和 Copilot 能渲染 JS,而 ChatGPT 的爬虫不能。所以如果你的内容依赖 JS 才能加载(单页应用、部分 React/Angular 框架常见),ChatGPT 访问后拿到的只是一个空壳,根本看不到内容。
解法是 服务端渲染(SSR):让服务器把渲染好的完整 HTML 直接发给爬虫,而不是靠浏览器端的 JS 去搭页面。如果你为传统 SEO 已经做了 SSR,这块就已覆盖。
自测法很直接:在浏览器里关掉 JavaScript,再访问自己的站。内容一旦消失,说明存在会同样影响 AI 爬虫的 JS 渲染问题。
4. 页面速度对 AI 检索更关键 04:22
页面速度常被当成纯 SEO 议题,但对 AI 检索它可能比对传统搜索更重要。AI 系统实时取信息时,是在即时地抓取、解析、分块你的页面;如果加载太慢,页面可能在被打分之前就被丢掉,内容再好也进不了 AI 的回答。
好消息是若你已为 SEO 优化过 Core Web Vitals,基本就到位了——加载快、HTML 干净的页面对 Google 和 AI 系统都受益。
5. 干净的 HTML 结构 05:07
AI 系统靠跟随 HTML 结构来解析内容。标题层级合理、区块组织清晰、每段只聚焦一个观点,AI 就更容易提取到正确信息。
具体做法:用正确的标题层级,H1 做标题、H2 做主区块、H3 做子区块;并确保每个区块能独立成立——因为 AI 可能在任意标题边界处切分你的内容(chunk)。
视频把这一点接回内容课(3.1)讲的原则:atomic content(原子化内容)与 entity-rich writing(实体丰富的写法)不只是文风,更是让内容在技术上可被 AI 解析的前提。
6. Schema markup:证据不足但无害 05:58
Schema markup(又称结构化数据)是你加到页面上、帮搜索引擎理解内容的代码,如 Article、FAQPage、HowTo、LocalBusiness 等类型。
它对 AEO 有没有用?视频态度诚实:证据是混合的,没有确凿数据表明加 schema 就能直接提升被 AI 引用的概率。但它也不会有坏处,已经为 SEO 在用的话没理由删掉。
务实取舍:别为 AEO 专门在 schema 上砸大量时间;但如果是新建页面,顺手加对 schema 类型是个好习惯,能让任何系统都更容易理解你的内容。
7. AI 幻觉 URL 与 404 流量回收 06:42
AI 助手有时会编造出你站上根本不存在的 URL,推荐给用户,用户一点就撞上 404。这比你以为的常见得多:据 Ahrefs 数据,AI 助手把访客送到 404 页的频率是 Google 搜索的 2.87 倍 07:03,其中 ChatGPT 最严重,约 1% 的被点击 URL 通向 404。
与其让 404 成为访客旅程的终点,不如把这些页修好或优化利用起来。方法是查分析工具,找那些从 AI referrer 拿到流量、却返回 404 状态的页面。
一旦发现某个 AI 幻觉 URL 有稳定流量,就给它设一条重定向,指向站内最相关的真实页面——这样就能捕获本来会白白流失的流量。
可执行步骤
- 访问自己站的
/robots.txt,搜 GPTBot、ClaudeBot、Google-Extended、OAISearchBot,确认没有 disallow。 - 若站在 Cloudflare 上,检查是否默认开启了「instruct AI bot traffic」并按需关闭。
- 在浏览器里禁用 JavaScript 再访问自己的站,内容消失则安排服务端渲染。
- 复用为 SEO 做的 Core Web Vitals 优化,确认关键页加载够快。
- 审查页面标题层级(H1/H2/H3),让每个区块能独立成段、独立成立。
- 在分析工具里筛「AI referrer 来源且返回 404」的 URL,给有稳定流量的幻觉 URL 设重定向到最相关真实页。
关联
- 印证:GEO 与 AI Overview——本片的 AEO 技术侧,正是让内容被 AI 答案引擎抓取/理解的基建层;GEO 讲「为生成式答案做优化」的方法论,本片补上其技术前置条件(能被抓、能被读、能被分块)。
- 补充视角:曝光-点击解耦——AI 幻觉 URL 制造的 404,是 AI 时代流量新损耗的一种具体形态,与「排名在、点击丢」同属需要主动回收的流量缺口。
- 一个月计划修复技术SEO（提升排名） · Core Web Vitals:印证并细化：原定义泛指Google页面性能核心指标，本片具体点出LCP/INP/CLS三项指标，并强调修复须由开发者介入
- GEO手册如何通过付费引用、Reddit和AI搜索挑战SEO · Schema markup:冲突/更新——本片给出更强论断:schema在tokenization中大概率直接失效
术语
- AEO(Answer Engine Optimization)——让内容被 AI 答案引擎找到、理解、引用的优化,本片讲其技术侧。
- GPTBot——OpenAI 的网页爬虫;OAISearchBot 为其搜索用爬虫。
- Google-Extended——Google 用于控制内容是否用于 AI 训练的爬虫标识。
- llms.txt——提议中的标准文件,向 AI 概述站点信息,目前无主流厂商正式支持。
- Server-Side Rendering(SSR,服务端渲染)——服务器直接输出渲染好的完整 HTML,不依赖浏览器端 JS。
- Schema markup(结构化数据)——加到页面帮机器理解内容的标记代码。
- Chunk(分块)——AI 检索时把页面按标题边界等切成片段的过程。
金句
“That’s millions of sites that are invisible to ChatGPT.” → 5.9% 的屏蔽率翻译成绝对数,就是数百万个站对 ChatGPT 隐形——技术疏忽的代价用规模一说就触目。
“It visits the page and gets an empty shell.” → 一句话点破 JS 依赖的致命处:ChatGPT 爬虫看到的不是你的内容,是一个空壳。
立场与利益
Ahrefs 是 SEO/AEO 工具厂商,本片是其「AEO Course」第 3.4 课。视频中两处引导用自家 Ahrefs Site Audit 检查 robots.txt 屏蔽——但这些检查用手动看 /robots.txt、关 JS 自测、查分析工具即可完成,不绑定该工具(本笔记已按「工具无关」重述)。5.9%、2.87 倍、1% 三个数据均标注「据我们的数据」,来自 Ahrefs 自有数据集,无第三方交叉验证,引用时留意口径。其余主张(robots.txt 机制、SSR、HTML 结构、schema 无害)属行业通用共识。
价值定位
- 适合谁:已有站、做过基础 SEO、想让内容也被 ChatGPT/Perplexity 等 AI 引用的 solo builder 或 站长。
- 解决什么:给出一份可当 checklist 的 AEO 技术自查清单,尤其能揪出「无意屏蔽 AI 爬虫」这类隐形失误(Cloudflare 默认屏蔽、模板继承 robots.txt)。
- 认知 vs 实操:偏实操,六项都能当天动手核对;但每项深度有限,是入门级 checklist 而非深挖。
- 与 GEO 笔记重叠:GEO 侧重方法论与「为什么」,本片独有的是技术执行层的具体检查项(AI 爬虫名单、SSR 自测法、404 幻觉 URL 回收),两者互补。
自检问题
- 你的站可能在毫不知情下屏蔽 AI 爬虫,最常见的两个来源是什么? 答案:从模板/旧配置继承的 robots.txt 规则;以及平台默认屏蔽,如 Cloudflare 默认开启的「instruct AI bot traffic with robots.txt」会自动改写 robots.txt 声明内容不用于 AI 训练。见详解1 01:44
- 为什么依赖 JavaScript 加载的内容对 ChatGPT 是隐患,怎么修、怎么自测? 答案:ChatGPT 爬虫不渲染 JS,只拿到空壳看不到内容;解法是服务端渲染(SSR)让服务器直接发完整 HTML;自测法是浏览器关掉 JS 后访问自己的站,内容消失即有问题。见详解3 03:52
- 视频对 llms.txt 的建议是什么,理由是? 答案:可以做,但不必优先,因为目前没有任何主流 LLM 厂商正式支持(OpenAI 不用、Anthropic 未确认读、Google 未采纳),真正起作用的仍是 robots.txt。见详解2 03:01
- AI 幻觉 URL 造成的 404 有多严重,该怎么回收流量? 答案:AI 助手送访客到 404 的频率是 Google 的 2.87 倍,ChatGPT 约 1% 被点 URL 通向 404;做法是查分析工具找「AI referrer 且返 404」的页面,对有稳定流量的设重定向到最相关真实页。见详解7 07:03
- 为什么页面速度对 AI 检索可能比对传统搜索更重要? 答案:AI 实时取信息时是即时抓取、解析、分块页面,加载太慢的页面会在被打分前就被丢弃,内容再好也进不了 AI 回答。见详解4 04:22