Frey Chu · 15:38 · 发布 2026-01-30 · 8648次观看(截至抓取) · 观看原视频
主旨
用 Claude Code 加开源爬虫 Crawl4AI,把 7 万行脏 CSV 在一个周末内抓取、清洗、逐字段富化成一个可上线的 directory 数据库,并给出可复用的七步流程与踩坑教训。
核心论点
- 目录站最难的是数据,而这道坎如今能几天做完、成本极低——过去要几千小时手工,现在总花费约 250 美元、不到一周。(→ 详解1)
- 富化的底层逻辑很简单:以商家官网为 source of truth,逐字段回填——所有富化都在爬对方官网,把官网上的事实抄进你的表。(→ 详解1)
- 清洗的杠杆是把”清洗标准”写成 prompt 交给 Claude Code 批处理,而不是手工删行。(→ 详解3)
- Crawl4AI 负责爬、Claude Code 负责判断,二者分工是整条流水线的引擎;还得给爬虫导航逻辑,别让它无脑爬全站。(→ 详解4)
- 富化质量的第一铁律:一次只抽一个字段、深挖单点,贪多的 laundry list 必出垃圾数据。(→ 详解5)
- AI 抓数据不会一次到位,靠反复重跑加人工 review 逼近 100%——单轮结果通常只有 70% 满意。(→ 详解7)
知识点详解
1. 核心思路:把商家官网当 source of truth 逐字段富化 00:43
整套方法的底层概念其实很朴素:你抓来的商家清单里,每条都带着它自己的官网 URL,而官网就是这条商家一切真实信息的权威来源。富化的动作,就是让爬虫去逐个官网把事实抠出来、回填进你的表。
这解释了为什么高质量数据的目录能碾压低质量的。视频里对比了作者一年半前用 WordPress 模板加 AI 生成占位内容做的老站——图片千篇一律、描述空洞、Lorem Ipsum 还在——和新站每条 listing 都带真实描述、图片、trailer 型号、便利设施、可服务区域地图。差别不在建站,在数据是否真的来自 source of truth。
区分点:这不是”让 AI 编内容”,恰恰相反,是用 AI 去官网核实并搬运既有事实,把幻觉空间压到最小。
2. Step 1 抓原始清单:Outscraper 出量,接受它脏 02:51
第一步是纯抓取,作者用 Outscraper(一个按量付费的 Google 商家数据抓取服务,他认为是最便宜的一档)。操作只是选定已验证的 niche、选地区、选要抓的字段,导出 CSV。
产出是刻意求全、不求净的:单表 2 万行、四五个 CSV 合计约 7.1 万条候选。这一步不做任何质量把关,junk 数据一大堆——很多商家连完整地址都没有。原则是先把量抓够,清洗留给下游。
前置条件他也点明了三样:一个已验证的 directory niche、Claude Code、以及对这个 niche”决策驱动因素”的理解(用户到底在乎什么)。
3. Step 2 去 junk:把清洗标准写成 prompt 交给 Claude Code 03:33
清洗环节的杠杆动作,是把你脑子里那套”清洗标准/判据”转写成一段 prompt,连同原始 CSV 一起丢给 Claude Code,让它批量剔除 junk,而不是像过去那样手工一行行删。
作者的工作流很直白:先跟 ChatGPT 讲清楚”我想干嘛”,让它帮忙生成一段清洗 prompt;再把这段 prompt 和 Google Sheets 里的原始 CSV 一起交给 Claude Code 执行。03:53
这一步把 7.1 万条压到 2 万条。注意这只是”去明显垃圾”,还没做质量分级——2 万条仍是个巨库,不能直接再删,否则会误伤好数据。
4. Step 3 分类验证:Crawl4AI 当爬虫、Claude Code 当大脑 04:51
深度清洗要引入 Crawl4AI——一个开源、对 LLM 友好的网页爬虫兼抓取器,免费,本地安装(作者让 Claude Code 照着官方 URL 帮他装,约 15 分钟搞定)。分工是:Crawl4AI 做”能挨个爬 URL 的机器”,Claude Code 做”判断的大脑”。
任务是让它逐个官网判断”这家到底是不是 luxury restroom trailer”,用一串关键词和同义词(restroom trailer、VIP restroom、wedding restroom…)去匹配。2 万个网站跑下来,收敛出 725 个候选,附带高/中/低的 confidence level、判定证据和爬取页数。全程跑了 3 小时,靠 async web crawler 模块并发才压到这个时间。
关键提效点是给爬虫”导航逻辑”:有些官网上百页,不能无脑爬全站。作者的做法是让它只走首页、主菜单链接、明显的 restroom 相关页,再顺着往深处走。07:03这套导航规则每个 niche 都不同,得自己定。他也自认整轮只花 30 分钟实操,是因为下手前对”要让 AI 干什么”想得很清楚。
5. Step 4 富化铁律:一次只抽一个字段,深挖单点 07:48
富化阶段仍是爬官网,但核心纪律变成:每轮只提取一个数据点。作者最惨的一次踩坑,是刚上手时给 Crawl4AI 一张 laundry list——库存、图片、服务区、便利设施、价格、描述一次全要,结果数据质量烂到近乎不可用。08:01
改法是让它一次只干一件事、干到极深:必要时为一个数据点深爬 30 页也值得,这样才把出错空间压下去、拿到高质量数据。示范轮里他只抽”这家提供几档 stall trailer”(2 位、4 位、16 位…),因为用户正是按人数选 trailer,能做出按 stall 数过滤的筛选器,目录价值就上一个台阶。
两个可复用小手法:一是显式让它给每个要追踪的字段新建 CSV 列;二是让它同时记录”这条信息是从哪个 source URL 找到的”,事后复核很有用。他还习惯在 prompt 里加一句”动手前先给我 game plan,告诉我思路里漏了什么”——执行前先反问澄清,与 Plan Mode 同理。
6. Step 5 图片富化:Crawl4AI 出候选、Claude Vision 判质量 10:19
图片这轮加了个巧招:让 Crawl4AI 按 alt text、文件名等 niche 相关线索,为每条 listing 爬出前三张候选图,再把候选交给 Claude Vision 判断哪张质量最高。接入方式很轻——只需按 Claude Code 提示去申请一个 API key 即可激活。
之所以要用视觉模型把关,是因为第一次没做质量筛选时,抓回来的全是 favicon、logo、跟 luxury restroom trailer 毫不相干的图。作者建议:一定要有一套图片质量校验策略,这套 Claude Vision 流程可以直接照抄。
成本参考:约 1000 张图(每条 listing 最多三张)过一遍 Claude Vision,大约 30 美元。
7. Step 6-7 数据不会一次到位:反复重跑加人工 review 12:04
Step 6 抽便利设施(AC、暖气、灯光、蓝牙、化妆镜…)时,作者点破了整套流程最真实的一面:单轮 prompt 跑出来往往只有 70% 满意,而你要的是逼近 100%,所以得盯着那 30% 反复微调 prompt、反复重跑。同一字段他常跑三遍,仍会剩三四十条抓不到——因为信息在不在,取决于对方官网写没写。
还有两条护栏:一是每轮输出都要人工逐条 review,对不达标的 edge case 反过来”告诉 Claude Code”,让它逐渐理解你的标准;二是接受这套流程本质就是 trial and error,AI coding 不完美,同一任务重试两三次很正常。
Step 7 按同法把”服务区域/可配送城市”也富化上,然后就是收尾:逐列筛掉不上线的字段,只留要展示的。这一步没有终点感——你想富化多少种数据,就有多少步。
8. 入库与放大:Superbase 落库,把高竞争 niche 拆成可打的子 niche 13:34
数据齐了,作者把主 CSV 交给 Claude Code,让它按同样的列结构写入 Supabase(视频口误作 Superbase),listing 页直接吃这份数据。之后就是他口中”最好玩的部分”——用 Claude Code 把 UI、设计、表单逻辑一路 vibe code 出来。
最后的放大思路值得单独记:当数据不再是瓶颈,选题空间被彻底打开。打法是绕开过热的大词,去做它的高价值细分子 niche——比如硬刚 senior living 排不上,就做”面向失智症人群的养老院目录”,搜索量小得多,却能切进 care.com、aplaceformom.com 这类百亿级 directory 验证过的高客单赛道。14:49
一句话收束:抓取、清洗、富化这条链一旦跑通,数据就不再是建目录的障碍。
可执行步骤
- 选定并验证一个 directory niche,写下这个 niche 用户的决策驱动因素(他们到底按什么做选择)。
- 用付费抓取服务(如 Outscraper)按 niche + 地区批量导出原始 CSV,只求全不求净。
- 把你的”清洗判据”口述给 ChatGPT 生成清洗 prompt,连原始 CSV 交给 Claude Code 去 junk。
- 本地装好 Crawl4AI(让 Claude Code 照官方文档帮你装),开启 async 并发模块。
- 让 Crawl4AI 逐官网做分类验证,prompt 里写死导航逻辑(只走首页/主菜单/明显相关页),并要求输出 confidence level + 证据 + source URL。
- 富化时一轮只抽一个字段,显式让它为该字段新建列并记录来源 URL;必要时授权深爬多页。
- 图片轮:先爬候选图,再用 Claude Vision API 挑最高质量的,别直接信爬回来的图。
- 每轮输出人工逐条 review,把不达标的 edge case 反馈给 Claude Code,同一字段预期重跑两三次。
- 收尾:筛掉不上线的列,让 Claude Code 按最终列结构写入 Supabase,再开始建站。
关联
- 印证:Plan Mode 主张执行前先反问澄清目标;本片在每轮富化 prompt 里加”动手前先给我 game plan、告诉我漏了什么”,是同一手法在数据抓取场景的落地。
- 印证:CLAUDE.md 承载项目长期规范;本片”把 edge case 反馈给 Claude Code 让它理解你的标准”是同一诉求的轻量版——把标准沉淀给 agent,而非每轮重讲。
一手来源与延伸
- Crawl4AI(unclecode/crawl4ai)——视频点名的开源 LLM 友好网页爬虫兼抓取器,官网描述与视频一致,免费、可本地/ Docker 部署。
术语
- Outscraper(按量付费的 Google 商家数据抓取服务,视频里最便宜的原始清单来源)
- Crawl4AI(开源、对 LLM 友好的网页爬虫兼抓取器,本地免费运行)
- Claude Vision(Claude 的视觉能力,经 API 调用来判断图片质量/相关性)
- Supabase(视频口误作 Superbase,开源的 Postgres 后端,用来存目录数据)
- source of truth(权威事实来源,这里指每家商家的官网)
- stall trailer(按厕位数分档的移动厕所拖车,如 2/4/16 位)
- async web crawler(Crawl4AI 的异步并发爬取模块,让多站同时爬)
- confidence level(爬虫对每条分类结果附的高/中/低置信度标注)
金句
“It boils down to data, which is arguably one of the hardest parts of building a directory.” → 目录站的胜负手不在建站,在数据质量。 “It’s just way better to tell it to go and do one task really, really deep.” → 富化的第一纪律:一次一个字段、深挖单点,别贪多。 “Data is no longer an issue to go and collect.” → 这套流程真正解锁的,是”数据不再是瓶颈”后被打开的选题空间。
立场与利益
作者 Frey Chu 卖 directory 相关课程/模板,视频本身是其方法论的展示(反复出示自建站 portapottymatch、末尾致谢社区成员 Alistair 传授 Crawl4AI)。整条流水线与 Claude Code(自费 Max 计划 100 美元/月)+ Crawl4AI 强绑定,换工具需自行迁移。
但方法层面的主张是工具无关、可迁移的通用共识:以官网为 source of truth 逐字段富化、一次只抽一个字段深挖单点、每轮人工 review、接受反复重跑。付费依赖只有 Outscraper(可换其他抓取源)和 Claude Code 订阅;Crawl4AI 本身免费开源。
价值定位
- 适合谁:要给一个新 directory/niche 站冷启动填数据的 solo builder——已选好 niche、会用 Claude Code、卡在”哪来干净数据”这一步的人。
- 解决什么:把”抓取→清洗→富化→入库”拆成七步可照抄的流程,含具体分工(Crawl4AI 爬、Claude Code 判、Claude Vision 挑图)、prompt 手法和成本量级(总计约 250 美元)。
- 认知 vs 实操:以实操为主,拿来即用;但真正的可迁移资产是三条方法纪律(source of truth、单点深挖、反复重跑加 review),而非具体工具组合。
- 局限:视频不展示 prompt 全文与代码,导航逻辑、字段设计需按自己 niche 从零设计;数据完整度受限于对方官网是否披露。
自检问题
- 这套流程为什么强调”一次只抽一个字段”,而不是一把 prompt 全要? 答案:因为作者实测过 laundry list 会让富化数据质量烂到近乎不可用;单点深挖(必要时深爬 30 页)能把出错空间压到最小、拿到高质量数据。见详解5。 07:48
- Crawl4AI 和 Claude Code 在这条流水线里各自扮演什么角色? 答案:Crawl4AI 是”能逐个爬官网 URL 的机器”,Claude Code 是”做判断的大脑”(分类、筛选、写列)。见详解4。 04:51
- 整套富化方法的”source of truth”指什么,为什么它能压制 AI 幻觉? 答案:指每家商家自己的官网;富化是让 AI 去官网核实并搬运既有事实,而非凭空生成,所以幻觉空间小。见详解1。 00:43
- 为什么单轮 prompt 跑完还不能收工?作者给的应对是什么? 答案:单轮结果通常只有 70% 满意,需盯着剩下 30% 反复微调 prompt、重跑(同字段常跑三遍),并人工逐条 review、把 edge case 反馈给 Claude Code。见详解7。 12:04
- 数据不再是瓶颈后,作者给出的选题放大思路是什么? 答案:绕开过热大词,去做它的高价值细分子 niche(如把 senior living 收窄成”失智症人群养老院目录”),搜索量更小但能切进已被验证的高客单赛道。见详解8。 14:49