--- title: '用 Claude Code 与 Crawl4AI 跑通目录数据的七步流程' video_id: kRxpCfKlC4o url: https://youtu.be/kRxpCfKlC4o title_en: "My Exact Workflow for Scraping, Cleaning & Enriching Directory Data (Claude Code + Crawl4AI)" channel: Frey Chu published: 2026-01-30 duration: "15:38" topics: [Directory/niche 站打法, AI 辅助 SEO 执行, 建站与技术栈] noted: 2026-07-05 value: A views: '8648' --- [![封面](https://i.ytimg.com/vi/kRxpCfKlC4o/maxresdefault.jpg)](https://youtu.be/kRxpCfKlC4o) > Frey Chu · 15:38 · 发布 2026-01-30 · 8648次观看(截至抓取) · [观看原视频](https://youtu.be/kRxpCfKlC4o) ## 主旨 用 Claude Code 加开源爬虫 Crawl4AI,把 7 万行脏 CSV 在一个周末内抓取、清洗、逐字段富化成一个可上线的 directory 数据库,并给出可复用的七步流程与踩坑教训。 ## 核心论点 1. **目录站最难的是数据,而这道坎如今能几天做完、成本极低**——过去要几千小时手工,现在总花费约 250 美元、不到一周。([[#1-核心思路把商家官网当-source-of-truth-逐字段富化-0043|→ 详解1]]) 2. **富化的底层逻辑很简单:以商家官网为 source of truth,逐字段回填**——所有富化都在爬对方官网,把官网上的事实抄进你的表。([[#1-核心思路把商家官网当-source-of-truth-逐字段富化-0043|→ 详解1]]) 3. **清洗的杠杆是把"清洗标准"写成 prompt 交给 Claude Code 批处理**,而不是手工删行。([[#3-step-2-去-junk把清洗标准写成-prompt-交给-claude-code-0333|→ 详解3]]) 4. **Crawl4AI 负责爬、Claude Code 负责判断,二者分工是整条流水线的引擎**;还得给爬虫导航逻辑,别让它无脑爬全站。([[#4-step-3-分类验证crawl4ai-当爬虫claude-code-当大脑-0451|→ 详解4]]) 5. **富化质量的第一铁律:一次只抽一个字段、深挖单点**,贪多的 laundry list 必出垃圾数据。([[#5-step-4-富化铁律一次只抽一个字段深挖单点-0748|→ 详解5]]) 6. **AI 抓数据不会一次到位,靠反复重跑加人工 review 逼近 100%**——单轮结果通常只有 70% 满意。([[#7-step-6-7-数据不会一次到位反复重跑加人工-review-1204|→ 详解7]]) ## 知识点详解 ### 1. 核心思路:把商家官网当 source of truth 逐字段富化 [00:43](https://youtu.be/kRxpCfKlC4o?t=43) 整套方法的底层概念其实很朴素:你抓来的商家清单里,每条都带着它自己的官网 URL,而官网就是这条商家一切真实信息的权威来源。富化的动作,就是让爬虫去逐个官网把事实抠出来、回填进你的表。 这解释了为什么高质量数据的目录能碾压低质量的。视频里对比了作者一年半前用 WordPress 模板加 AI 生成占位内容做的老站——图片千篇一律、描述空洞、Lorem Ipsum 还在——和新站每条 listing 都带真实描述、图片、trailer 型号、便利设施、可服务区域地图。差别不在建站,在数据是否真的来自 source of truth。 区分点:这不是"让 AI 编内容",恰恰相反,是用 AI 去官网核实并搬运既有事实,把幻觉空间压到最小。 ### 2. Step 1 抓原始清单:Outscraper 出量,接受它脏 [02:51](https://youtu.be/kRxpCfKlC4o?t=171) 第一步是纯抓取,作者用 Outscraper(一个按量付费的 Google 商家数据抓取服务,他认为是最便宜的一档)。操作只是选定已验证的 niche、选地区、选要抓的字段,导出 CSV。 产出是刻意求全、不求净的:单表 2 万行、四五个 CSV 合计约 7.1 万条候选。这一步不做任何质量把关,junk 数据一大堆——很多商家连完整地址都没有。原则是先把量抓够,清洗留给下游。 前置条件他也点明了三样:一个已验证的 directory niche、Claude Code、以及对这个 niche"决策驱动因素"的理解(用户到底在乎什么)。 ### 3. Step 2 去 junk:把清洗标准写成 prompt 交给 Claude Code [03:33](https://youtu.be/kRxpCfKlC4o?t=213) 清洗环节的杠杆动作,是把你脑子里那套"清洗标准/判据"转写成一段 prompt,连同原始 CSV 一起丢给 Claude Code,让它批量剔除 junk,而不是像过去那样手工一行行删。 作者的工作流很直白:先跟 ChatGPT 讲清楚"我想干嘛",让它帮忙生成一段清洗 prompt;再把这段 prompt 和 Google Sheets 里的原始 CSV 一起交给 Claude Code 执行。[03:53](https://youtu.be/kRxpCfKlC4o?t=233) 这一步把 7.1 万条压到 2 万条。注意这只是"去明显垃圾",还没做质量分级——2 万条仍是个巨库,不能直接再删,否则会误伤好数据。 ### 4. Step 3 分类验证:Crawl4AI 当爬虫、Claude Code 当大脑 [04:51](https://youtu.be/kRxpCfKlC4o?t=291) 深度清洗要引入 Crawl4AI——一个开源、对 LLM 友好的网页爬虫兼抓取器,免费,本地安装(作者让 Claude Code 照着官方 URL 帮他装,约 15 分钟搞定)。分工是:Crawl4AI 做"能挨个爬 URL 的机器",Claude Code 做"判断的大脑"。 任务是让它逐个官网判断"这家到底是不是 luxury restroom trailer",用一串关键词和同义词(restroom trailer、VIP restroom、wedding restroom…)去匹配。2 万个网站跑下来,收敛出 725 个候选,附带高/中/低的 confidence level、判定证据和爬取页数。全程跑了 3 小时,靠 async web crawler 模块并发才压到这个时间。 关键提效点是给爬虫"导航逻辑":有些官网上百页,不能无脑爬全站。作者的做法是让它只走首页、主菜单链接、明显的 restroom 相关页,再顺着往深处走。[07:03](https://youtu.be/kRxpCfKlC4o?t=423)这套导航规则每个 niche 都不同,得自己定。他也自认整轮只花 30 分钟实操,是因为下手前对"要让 AI 干什么"想得很清楚。 ### 5. Step 4 富化铁律:一次只抽一个字段,深挖单点 [07:48](https://youtu.be/kRxpCfKlC4o?t=468) 富化阶段仍是爬官网,但核心纪律变成:每轮只提取一个数据点。作者最惨的一次踩坑,是刚上手时给 Crawl4AI 一张 laundry list——库存、图片、服务区、便利设施、价格、描述一次全要,结果数据质量烂到近乎不可用。[08:01](https://youtu.be/kRxpCfKlC4o?t=481) 改法是让它一次只干一件事、干到极深:必要时为一个数据点深爬 30 页也值得,这样才把出错空间压下去、拿到高质量数据。示范轮里他只抽"这家提供几档 stall trailer"(2 位、4 位、16 位…),因为用户正是按人数选 trailer,能做出按 stall 数过滤的筛选器,目录价值就上一个台阶。 两个可复用小手法:一是显式让它给每个要追踪的字段新建 CSV 列;二是让它同时记录"这条信息是从哪个 source URL 找到的",事后复核很有用。他还习惯在 prompt 里加一句"动手前先给我 game plan,告诉我思路里漏了什么"——执行前先反问澄清,与 Plan Mode 同理。 ### 6. Step 5 图片富化:Crawl4AI 出候选、Claude Vision 判质量 [10:19](https://youtu.be/kRxpCfKlC4o?t=619) 图片这轮加了个巧招:让 Crawl4AI 按 alt text、文件名等 niche 相关线索,为每条 listing 爬出前三张候选图,再把候选交给 Claude Vision 判断哪张质量最高。接入方式很轻——只需按 Claude Code 提示去申请一个 API key 即可激活。 之所以要用视觉模型把关,是因为第一次没做质量筛选时,抓回来的全是 favicon、logo、跟 luxury restroom trailer 毫不相干的图。作者建议:一定要有一套图片质量校验策略,这套 Claude Vision 流程可以直接照抄。 成本参考:约 1000 张图(每条 listing 最多三张)过一遍 Claude Vision,大约 30 美元。 ### 7. Step 6-7 数据不会一次到位:反复重跑加人工 review [12:04](https://youtu.be/kRxpCfKlC4o?t=724) Step 6 抽便利设施(AC、暖气、灯光、蓝牙、化妆镜…)时,作者点破了整套流程最真实的一面:单轮 prompt 跑出来往往只有 70% 满意,而你要的是逼近 100%,所以得盯着那 30% 反复微调 prompt、反复重跑。同一字段他常跑三遍,仍会剩三四十条抓不到——因为信息在不在,取决于对方官网写没写。 还有两条护栏:一是每轮输出都要人工逐条 review,对不达标的 edge case 反过来"告诉 Claude Code",让它逐渐理解你的标准;二是接受这套流程本质就是 trial and error,AI coding 不完美,同一任务重试两三次很正常。 Step 7 按同法把"服务区域/可配送城市"也富化上,然后就是收尾:逐列筛掉不上线的字段,只留要展示的。这一步没有终点感——你想富化多少种数据,就有多少步。 ### 8. 入库与放大:Superbase 落库,把高竞争 niche 拆成可打的子 niche [13:34](https://youtu.be/kRxpCfKlC4o?t=814) 数据齐了,作者把主 CSV 交给 Claude Code,让它按同样的列结构写入 Supabase(视频口误作 Superbase),listing 页直接吃这份数据。之后就是他口中"最好玩的部分"——用 Claude Code 把 UI、设计、表单逻辑一路 vibe code 出来。 最后的放大思路值得单独记:当数据不再是瓶颈,选题空间被彻底打开。打法是绕开过热的大词,去做它的高价值细分子 niche——比如硬刚 senior living 排不上,就做"面向失智症人群的养老院目录",搜索量小得多,却能切进 care.com、aplaceformom.com 这类百亿级 directory 验证过的高客单赛道。[14:49](https://youtu.be/kRxpCfKlC4o?t=889) 一句话收束:抓取、清洗、富化这条链一旦跑通,数据就不再是建目录的障碍。 ## 可执行步骤 - [ ] 选定并验证一个 directory niche,写下这个 niche 用户的决策驱动因素(他们到底按什么做选择)。 - [ ] 用付费抓取服务(如 Outscraper)按 niche + 地区批量导出原始 CSV,只求全不求净。 - [ ] 把你的"清洗判据"口述给 ChatGPT 生成清洗 prompt,连原始 CSV 交给 Claude Code 去 junk。 - [ ] 本地装好 Crawl4AI(让 Claude Code 照官方文档帮你装),开启 async 并发模块。 - [ ] 让 Crawl4AI 逐官网做分类验证,prompt 里写死导航逻辑(只走首页/主菜单/明显相关页),并要求输出 confidence level + 证据 + source URL。 - [ ] 富化时一轮只抽一个字段,显式让它为该字段新建列并记录来源 URL;必要时授权深爬多页。 - [ ] 图片轮:先爬候选图,再用 Claude Vision API 挑最高质量的,别直接信爬回来的图。 - [ ] 每轮输出人工逐条 review,把不达标的 edge case 反馈给 Claude Code,同一字段预期重跑两三次。 - [ ] 收尾:筛掉不上线的列,让 Claude Code 按最终列结构写入 Supabase,再开始建站。 ## 关联 - 印证:Plan Mode 主张执行前先反问澄清目标;本片在每轮富化 prompt 里加"动手前先给我 game plan、告诉我漏了什么",是同一手法在数据抓取场景的落地。 - 印证:CLAUDE.md 承载项目长期规范;本片"把 edge case 反馈给 Claude Code 让它理解你的标准"是同一诉求的轻量版——把标准沉淀给 agent,而非每轮重讲。 ## 一手来源与延伸 - [Crawl4AI(unclecode/crawl4ai)](https://github.com/unclecode/crawl4ai)——视频点名的开源 LLM 友好网页爬虫兼抓取器,官网描述与视频一致,免费、可本地/ Docker 部署。 ## 术语 - Outscraper(按量付费的 Google 商家数据抓取服务,视频里最便宜的原始清单来源) - Crawl4AI(开源、对 LLM 友好的网页爬虫兼抓取器,本地免费运行) - Claude Vision(Claude 的视觉能力,经 API 调用来判断图片质量/相关性) - Supabase(视频口误作 Superbase,开源的 Postgres 后端,用来存目录数据) - source of truth(权威事实来源,这里指每家商家的官网) - stall trailer(按厕位数分档的移动厕所拖车,如 2/4/16 位) - async web crawler(Crawl4AI 的异步并发爬取模块,让多站同时爬) - confidence level(爬虫对每条分类结果附的高/中/低置信度标注) ## 金句 > "It boils down to data, which is arguably one of the hardest parts of building a directory." → 目录站的胜负手不在建站,在数据质量。 > "It's just way better to tell it to go and do one task really, really deep." → 富化的第一纪律:一次一个字段、深挖单点,别贪多。 > "Data is no longer an issue to go and collect." → 这套流程真正解锁的,是"数据不再是瓶颈"后被打开的选题空间。 ## 立场与利益 作者 Frey Chu 卖 directory 相关课程/模板,视频本身是其方法论的展示(反复出示自建站 portapottymatch、末尾致谢社区成员 Alistair 传授 Crawl4AI)。整条流水线与 Claude Code(自费 Max 计划 100 美元/月)+ Crawl4AI 强绑定,换工具需自行迁移。 但方法层面的主张是工具无关、可迁移的通用共识:以官网为 source of truth 逐字段富化、一次只抽一个字段深挖单点、每轮人工 review、接受反复重跑。付费依赖只有 Outscraper(可换其他抓取源)和 Claude Code 订阅;Crawl4AI 本身免费开源。 ## 价值定位 - 适合谁:要给一个新 directory/niche 站冷启动填数据的 solo builder——已选好 niche、会用 Claude Code、卡在"哪来干净数据"这一步的人。 - 解决什么:把"抓取→清洗→富化→入库"拆成七步可照抄的流程,含具体分工(Crawl4AI 爬、Claude Code 判、Claude Vision 挑图)、prompt 手法和成本量级(总计约 250 美元)。 - 认知 vs 实操:以实操为主,拿来即用;但真正的可迁移资产是三条方法纪律(source of truth、单点深挖、反复重跑加 review),而非具体工具组合。 - 局限:视频不展示 prompt 全文与代码,导航逻辑、字段设计需按自己 niche 从零设计;数据完整度受限于对方官网是否披露。 ## 自检问题 1. 这套流程为什么强调"一次只抽一个字段",而不是一把 prompt 全要? **答案**:因为作者实测过 laundry list 会让富化数据质量烂到近乎不可用;单点深挖(必要时深爬 30 页)能把出错空间压到最小、拿到高质量数据。见详解5。 [07:48](https://youtu.be/kRxpCfKlC4o?t=468) 2. Crawl4AI 和 Claude Code 在这条流水线里各自扮演什么角色? **答案**:Crawl4AI 是"能逐个爬官网 URL 的机器",Claude Code 是"做判断的大脑"(分类、筛选、写列)。见详解4。 [04:51](https://youtu.be/kRxpCfKlC4o?t=291) 3. 整套富化方法的"source of truth"指什么,为什么它能压制 AI 幻觉? **答案**:指每家商家自己的官网;富化是让 AI 去官网核实并搬运既有事实,而非凭空生成,所以幻觉空间小。见详解1。 [00:43](https://youtu.be/kRxpCfKlC4o?t=43) 4. 为什么单轮 prompt 跑完还不能收工?作者给的应对是什么? **答案**:单轮结果通常只有 70% 满意,需盯着剩下 30% 反复微调 prompt、重跑(同字段常跑三遍),并人工逐条 review、把 edge case 反馈给 Claude Code。见详解7。 [12:04](https://youtu.be/kRxpCfKlC4o?t=724) 5. 数据不再是瓶颈后,作者给出的选题放大思路是什么? **答案**:绕开过热大词,去做它的高价值细分子 niche(如把 senior living 收窄成"失智症人群养老院目录"),搜索量更小但能切进已被验证的高客单赛道。见详解8。 [14:49](https://youtu.be/kRxpCfKlC4o?t=889)