章节主旨
拆解 Auto-Research(让 AI 自主循环优化某个目标)成立的三个必备组件——可量化指标、快速修改手段、快速评估手段,并用复利数学和 Shopify 真实案例说明为何「循环够快」是自我改进能否起飞的关键。
核心论点
- Auto-Research 只需三件套:一个 metric、一个改动方法、一个评估方法——三者齐备,AI 就能自己闭环优化。(→ 详解1)
- 循环速度决定复利斜率:改动与评估都压到 ~30 秒,一天能跑上千次实验,微小改进复利成指数增长。(→ 详解2)
- 该框架可套用到任何有可测指标的对象——从网站性能到 Shopify 底层代码库,再到客服 prompt、cold email。(→ 详解3、详解4)
知识点详解
1. Auto-Research 三要素 1:43:33
要让 AI 自主做研究式优化,只需要三样东西。
一是 metric(指标):你想改善的可量化目标,例子里是网页的 Lighthouse 性能分。二是 change method(改动方法):能实际影响该指标的动作,例子里是让 AI 修改网站代码。三是 assessment(评估方法):改完后能立刻测出指标变化的手段,例子里就是重跑 Lighthouse 测试。
三者构成一个闭环:AI 改一版 → 测一次分 → 据结果决定下一步。只要这三样能自动跑,AI 就能在无人干预下持续迭代,这正是 Auto-Research 与普通一次性优化的区别。
2. 快循环与复利自我改进 1:44:30
三要素里最关键的隐藏条件是:改动和评估都要够快。
如果一次改动要一小时、评估再要一小时,实验就只能每两小时跑一次;虽已远超人类手工,但看不到那种「垂直起飞」的曲线。理想状态是改动 ~30 秒、评估 ~30 秒,合起来一小时能跑 60 次、一天 1440 次实验。
复利数学是重点:哪怕只有 2% 的改动有效(约 30 次),每次只提升 1%,那也是 1.01³⁰ ≈ 34% 的单日提升;若 90 次有效则约 2.4 倍、180 次则约 6 倍。改进会「你放它跑多久就涨多高」,这就是 递归自我改进(recursive self-improvement)的直觉来源。
3. Shopify liquid 代码库实战 1:46:27
一个非玩具级的案例来自 Shopify CEO Toby Lütke。
他把这套自主 AI research 系统对准整个 Shopify liquid 代码库(Shopify 的模板语法引擎,几乎驱动其全部渲染,是海量核心代码)。
跑了若干轮后,他的主指标 parse + render 合计耗时快了 53%,对象分配少了 61%——大致等于整个模板层快了近一倍。作者的网站玩具例子只提升几个百分点,但更复杂、AI 优化空间更大的真实代码库,收益可达 50% 以上量级。
4. 可优化对象:几乎一切有指标的东西 1:47:19
只要你能定义指标 + 快速测量,几乎任何东西都能塞进这个框架。
前端加载速度、SaaS 后端请求延迟(计时「点一次按钮到响应」)、公司内部零散模块的性能,都可以直接优化。作者强调:哪怕只是把这段讲解逐字丢给 AI 当说明,只要凑齐 auto-research 框架,它大概率就能干得不错。
有些场景循环天然更慢,但仍值得。Cold email 是特例——需要更长观察窗,作者每天只能做 6-10 次测试、每次 500-1000 封邮件,但依旧有效(这正是他本人的用途)。客服 prompt(改 prompt→等一小时看反馈,一天仍有 24 次)、广告创意、文案同理。核心不在循环快到极致,而在于框架成立、能持续朝目标推进。
术语
- metric(指标:你要改善的可量化目标,如 Lighthouse 分)
- change method(改动方法:能影响指标的动作,如改代码)
- assessment(评估:测出指标变化的手段,如重跑测试)
- recursive self-improvement(递归自我改进:每轮改进叠加、加速的复利式优化)
- Lighthouse score(谷歌网页性能/质量评分工具的得分)
- liquid(Shopify 的模板语法引擎语言)
自检问题
- Auto-Research 的三个必备组件分别是什么? 答案:metric(可量化指标)、change method(能影响指标的改动方法)、assessment(评估指标变化的手段)。三者自动闭环即成 auto-research。见详解1 1:43:33
- 为什么「改动和评估都要快」如此关键? 答案:循环速度决定实验频次,~30 秒级改动+评估可达每天 1440 次;配合复利(如 1.01³⁰≈+34%/天),快循环才能产生指数级自我改进曲线。见详解2 1:44:30
- Toby Lütke 在 Shopify liquid 代码库上跑 auto-research 得到了什么结果? 答案:主指标 parse+render 合计耗时快 53%、对象分配少 61%,约等于模板层快近一倍,证明该框架在真实大型代码库上收益可达 50%+ 量级。见详解3 1:46:27