---
title: '21 Auto-Research 的应用'
video_id: UPtmKh1vMN8
part: 21
---

> 章节 21 / 29 · [[00-总览|课程总览]] · 起始 [1:48:43](https://youtu.be/UPtmKh1vMN8?t=6523)


## 章节主旨

先收尾 auto-research:凑齐「指标 + 改动手段 + 评估」三要素就能把它套到几乎任何优化任务上,并给出直接 clone Karpathy 现成 repo 的落地路径;随后转入下一大块——网络自动化,从最基础的 HTTP 请求切入,讲清抓网页的原理与 Claude 的 web fetch 工具。

## 核心论点

1. **auto-research 不挑任务,只挑三要素**——只要有可优化的指标、能影响它的改动手段、以及一套评估,就能自动化优化几乎任何东西。([[#1-auto-research-的通用适用性三要素-14920|→ 详解1]])
2. **落地不用从零搭**——把 Karpathy 的 auto-research repo clone 进自己项目里,对着任务直接开跑即可。([[#2-用-karpathy-的-auto-research-repo-直接落地-14907|→ 详解2]])
3. **网络自动化的最底层是 HTTP 请求**——浏览器加载网页本质是发 GET 请求、拿回 HTML 再渲染,理解这层才能理解后续的抓取与交互。([[#3-http-请求网络自动化的最底层-14953|→ 详解3]])
4. **Claude 原生能发 HTTP 请求,于是网页抓取变得极其廉价**——用 web fetch 工具可批量 scrape 任意网站,拿纯文本。([[#4-claude-web-fetch极廉价的网页抓取-15154|→ 详解4]])

## 知识点详解

### 1. Auto-Research 的通用适用性:三要素 [1:49:20](https://youtu.be/UPtmKh1vMN8?t=6560)

auto-research 的价值不在某个具体案例(如网页转化率优化),而在它是一套通用模板:只要数据量足够撑起一次实验,你可以让 agent 优化几乎任何东西。

套用它只需三个要素:一个**要优化的指标**(metric)、一个**能影响该指标的改动手段**(change method / way to influence),以及一套**评估**(assessment)判断改动是否更好。三者齐备,循环就能自动转。

网页类任务(改页面 → 看转化率)是最直观的入门例子,因为指标和改动都摆在明面上;但同样的框架可迁移到任何有这三点的场景。

### 2. 用 Karpathy 的 auto-research repo 直接落地 [1:49:07](https://youtu.be/UPtmKh1vMN8?t=6547)

不必自己从头实现 auto-research 循环。Nick 指的是 Karpathy 公开的那个 auto-research 库 / repo。

用法很直接:把它 clone 进你自己的项目里,然后对着手头的任务开跑即可。现成的循环骨架拿来即用,你只需接上自己的指标、改动手段和评估。

### 3. HTTP 请求:网络自动化的最底层 [1:49:53](https://youtu.be/UPtmKh1vMN8?t=6593)

从这里开始转入新主题——网络自动化。Nick 给出路线图:先 HTTP 请求,再 浏览器自动化,最后 电脑自动化,是从简到繁的三级台阶。

HTTP(hypertext transfer protocol)是最简单的一级。浏览器加载一个网页,本质是向该网页所在服务器发一个 **GET 请求**;服务器被配置成「收到这类请求就把整个网页 dump 回来」,浏览器拿到响应后再渲染成好看的样子。

关键认知:服务器发回的不是漂亮的图片和排版,而是 **HTML**——纯文本内容加上对图片等资源的引用。右键「查看页面源代码」就能看到这层原始 HTML;页面上那句标语并非图片,而是实实在在写在 HTML 里的文本。理解「网页 = 一段可请求的 HTML 文本」是后续所有抓取的前提。

### 4. Claude web fetch:极廉价的网页抓取 [1:51:54](https://youtu.be/UPtmKh1vMN8?t=6714)

Claude 等模型现在原生具备 web 工具,能发出上面那种 HTTP 请求,这解锁了大量(并非全部)能力。

最基础的一招就是抓网页:把 URL 丢给 agent,说「retrieve contents of this, just the text」,它就用 Web Fetch 工具发请求、拿回 HTML,并按「只要文本」的指令把代码剥掉,返回你肉眼能看到的那部分内容(导航、案例、服务、客户名单等)。

这让批量抓取几乎零成本:给一个 URL 数组,说「帮我 scrape 这 400 个网站」,agent 就能自上而下逐个抓完 [1:53:07](https://youtu.be/UPtmKh1vMN8?t=6787)。网页抓取因此成为编码 agent 最初级、最常用的自动化用途之一。

但 scrape 只是「读」。很多时候你想更进一步——**动态交互、改动网页**(如拿到一批 AI agency 名单后逐一发消息),而不只是读取 [1:53:19](https://youtu.be/UPtmKh1vMN8?t=6799)。这正是本章末尾抛出、留给后续浏览器自动化章节的引子。

## 术语

- metric / change method / assessment(auto-research 三要素:待优化指标、影响手段、评估判据)
- HTTP GET request(超文本传输协议的读取请求;浏览器加载网页即发此请求)
- view page source(查看页面源代码;显露服务器实际返回的原始 HTML)
- scrape(抓取;把网页 HTML 中的可见文本提取出来)
- web fetch(Claude 发 HTTP 请求、拉取网页内容的原生工具)

## 自检问题

1. 把 auto-research 套到一个新任务上,你至少要凑齐哪三样东西?
   **答案**:一个要优化的 metric、一个能影响该指标的 change method、一套判断优劣的 assessment。三者齐备循环才能自动转。(见详解1 [1:49:20](https://youtu.be/UPtmKh1vMN8?t=6560))
2. 浏览器加载一个网页时,底层实际发生了什么?服务器返回的是什么?
   **答案**:浏览器向服务器发一个 HTTP GET 请求,服务器把整个网页 dump 回来;返回的不是图片和排版,而是 HTML 文本(含对图片等资源的引用),浏览器再渲染成可视页面。(见详解3 [1:49:53](https://youtu.be/UPtmKh1vMN8?t=6593))
3. 想用 Claude 抓 400 个网站的纯文本,大致怎么做?这属于 agent 的哪级能力?
   **答案**:给 agent 一个 URL 数组,指令「retrieve contents, just the text」,它用 web fetch 逐个发请求、拿回 HTML 并剥掉代码返回可见文本。属最初级的网络自动化(HTTP 请求层),再往上才是浏览器自动化与电脑自动化。(见详解4 [1:53:07](https://youtu.be/UPtmKh1vMN8?t=6787))