章节主旨
先收尾 auto-research:凑齐「指标 + 改动手段 + 评估」三要素就能把它套到几乎任何优化任务上,并给出直接 clone Karpathy 现成 repo 的落地路径;随后转入下一大块——网络自动化,从最基础的 HTTP 请求切入,讲清抓网页的原理与 Claude 的 web fetch 工具。
核心论点
- auto-research 不挑任务,只挑三要素——只要有可优化的指标、能影响它的改动手段、以及一套评估,就能自动化优化几乎任何东西。(→ 详解1)
- 落地不用从零搭——把 Karpathy 的 auto-research repo clone 进自己项目里,对着任务直接开跑即可。(→ 详解2)
- 网络自动化的最底层是 HTTP 请求——浏览器加载网页本质是发 GET 请求、拿回 HTML 再渲染,理解这层才能理解后续的抓取与交互。(→ 详解3)
- Claude 原生能发 HTTP 请求,于是网页抓取变得极其廉价——用 web fetch 工具可批量 scrape 任意网站,拿纯文本。(→ 详解4)
知识点详解
1. Auto-Research 的通用适用性:三要素 1:49:20
auto-research 的价值不在某个具体案例(如网页转化率优化),而在它是一套通用模板:只要数据量足够撑起一次实验,你可以让 agent 优化几乎任何东西。
套用它只需三个要素:一个要优化的指标(metric)、一个能影响该指标的改动手段(change method / way to influence),以及一套评估(assessment)判断改动是否更好。三者齐备,循环就能自动转。
网页类任务(改页面 → 看转化率)是最直观的入门例子,因为指标和改动都摆在明面上;但同样的框架可迁移到任何有这三点的场景。
2. 用 Karpathy 的 auto-research repo 直接落地 1:49:07
不必自己从头实现 auto-research 循环。Nick 指的是 Karpathy 公开的那个 auto-research 库 / repo。
用法很直接:把它 clone 进你自己的项目里,然后对着手头的任务开跑即可。现成的循环骨架拿来即用,你只需接上自己的指标、改动手段和评估。
3. HTTP 请求:网络自动化的最底层 1:49:53
从这里开始转入新主题——网络自动化。Nick 给出路线图:先 HTTP 请求,再 浏览器自动化,最后 电脑自动化,是从简到繁的三级台阶。
HTTP(hypertext transfer protocol)是最简单的一级。浏览器加载一个网页,本质是向该网页所在服务器发一个 GET 请求;服务器被配置成「收到这类请求就把整个网页 dump 回来」,浏览器拿到响应后再渲染成好看的样子。
关键认知:服务器发回的不是漂亮的图片和排版,而是 HTML——纯文本内容加上对图片等资源的引用。右键「查看页面源代码」就能看到这层原始 HTML;页面上那句标语并非图片,而是实实在在写在 HTML 里的文本。理解「网页 = 一段可请求的 HTML 文本」是后续所有抓取的前提。
4. Claude web fetch:极廉价的网页抓取 1:51:54
Claude 等模型现在原生具备 web 工具,能发出上面那种 HTTP 请求,这解锁了大量(并非全部)能力。
最基础的一招就是抓网页:把 URL 丢给 agent,说「retrieve contents of this, just the text」,它就用 Web Fetch 工具发请求、拿回 HTML,并按「只要文本」的指令把代码剥掉,返回你肉眼能看到的那部分内容(导航、案例、服务、客户名单等)。
这让批量抓取几乎零成本:给一个 URL 数组,说「帮我 scrape 这 400 个网站」,agent 就能自上而下逐个抓完 1:53:07。网页抓取因此成为编码 agent 最初级、最常用的自动化用途之一。
但 scrape 只是「读」。很多时候你想更进一步——动态交互、改动网页(如拿到一批 AI agency 名单后逐一发消息),而不只是读取 1:53:19。这正是本章末尾抛出、留给后续浏览器自动化章节的引子。
术语
- metric / change method / assessment(auto-research 三要素:待优化指标、影响手段、评估判据)
- HTTP GET request(超文本传输协议的读取请求;浏览器加载网页即发此请求)
- view page source(查看页面源代码;显露服务器实际返回的原始 HTML)
- scrape(抓取;把网页 HTML 中的可见文本提取出来)
- web fetch(Claude 发 HTTP 请求、拉取网页内容的原生工具)
自检问题
- 把 auto-research 套到一个新任务上,你至少要凑齐哪三样东西? 答案:一个要优化的 metric、一个能影响该指标的 change method、一套判断优劣的 assessment。三者齐备循环才能自动转。(见详解1 1:49:20)
- 浏览器加载一个网页时,底层实际发生了什么?服务器返回的是什么? 答案:浏览器向服务器发一个 HTTP GET 请求,服务器把整个网页 dump 回来;返回的不是图片和排版,而是 HTML 文本(含对图片等资源的引用),浏览器再渲染成可视页面。(见详解3 1:49:53)
- 想用 Claude 抓 400 个网站的纯文本,大致怎么做?这属于 agent 的哪级能力? 答案:给 agent 一个 URL 数组,指令「retrieve contents, just the text」,它用 web fetch 逐个发请求、拿回 HTML 并剥掉代码返回可见文本。属最初级的网络自动化(HTTP 请求层),再往上才是浏览器自动化与电脑自动化。(见详解4 1:53:07)