All About AI · 10:19 · 发布 2026-03-23 · 5437次观看(截至抓取) · 观看原视频
主旨
作者把一个带评分反馈的”自动研究循环”套在 Claude Code 上,让它扮演白帽渗透测试员,自动化红队测试自己 vibecoded 网站的付费墙能否被绕过。
核心论点
- 把自动研究循环套在 Claude Code 上,可对自己的网站做自动化红队测试——设一个明确目标(能否偷到付费墙后的文件),让 agent 反复尝试。(→ 详解1)
- 让循环自我改进的关键是一个 0-100 打分函数:好攻击留下、差攻击丢弃,agent 在更优解上继续迭代。(→ 详解2)
- 循环机制清晰可复制:读历史→选新攻击 ID→改 attack.sh→commit→跑→evaluate.sh 打分→分高留 commit、分低 reset→记教训。(→ 详解3)
- 十几轮跑完拿不到付费文件,即证明当前攻击面下防御到位——用实验结果而非直觉判断安全性。(→ 详解4)
- 换第二个 coding assistant 复盘能补足单模型想不到的攻击角度:Codex 出新实验点子,Claude Code 执行。(→ 详解5)
- 唯一真实漏洞出现在购买后:下载 token 可被转发分享,作者判定为可接受风险。(→ 详解6)
- 这套只该用于防御性自测;offensive 用途不该做,且 Claude 大概率会拒绝执行。(→ 详解7)
知识点详解
1. 自动研究循环用作红队自测 00:15
作者把一个 agentic 循环(他称之为 Claude Parti 的 auto research 项目)改造成”自动黑客”:给它设一个终极目标——测试自己站点上藏在付费墙后的 MD 文件是否安全,让它反复尝试去”偷”。
被测对象正是一个 vibecoded 站点。作者的动机是他一直在用 Claude Code 给自己的站和 app 做安全测试,效果很好,想把它包进一个自动研究的外壳里演示出来。
他坦白这不是严谨的安全评估,更像一次好玩的演示,目的是展示这套自动化红队的工作方式。
2. 打分函数驱动的爬山 00:45
自动研究要能跑,必须有一个评估/打分函数,把每次攻击尝试从 0 到 100 打分。这是整套循环能”越跑越聪明”的核心。
打分之后,较好的攻击被保留、较差的被丢弃,于是 agent 会在已知更优的方向上继续改进下一次尝试。本质是一个带评估反馈的爬山(hill-climb)迭代,而非盲目乱试。
这个”评分驱动、保留优解”的结构就是本片的 自动研究循环,它区别于只按清单顺序执行的自主循环。
3. 循环机制:三件套 + git 保留/回滚 03:21
整套 setup 是三个文件:program.md(告诉 AI 该做什么的指令)、attack.sh(本轮实际跑的攻击脚本)、evaluate.sh(给结果打分)。作者把单轮攻击时限从 2 分钟改到 5 分钟,因为 2 分钟偏短。
单轮循环:agent 先读之前试过什么→挑一个新的 attack ID→用新思路重写 attack.sh→commit 到 git→运行(限时)→用 evaluate.sh 打分。
关键在保留/回滚:分数更高就保留这次 commit,分数更差就 git reset 回退;无论哪种,都把这次学到的东西写进日志,再回到第一步。git 在这里既是版本记录也是”优解快照”机制。
4. 结果:16 轮后判定防御到位 05:03
一轮全量扫描跑了 13 次、覆盖全部 12 个类别(header、path、API、Stripe、cache、token、race 等),站点被判”防御良好”。最高分只有 30,来自 header/path 手法触发的非标准响应,但没有拿到任何实际内容。
作者又补跑了几个 RCE payload 类实验。总计 16 次实验后,底线结论是:在当前攻击面下,没有 token 就拿不到那些 MD 文件。
注意这个结论的严谨措辞——限定”当前攻击面”,而不是宣称绝对安全。这正是用可跑实验替代直觉来判断安全性的价值。
5. 双 assistant 交叉复盘 05:54
跑完一轮后,作者把 findings 拿到 Codex(GPT 5.4)去复盘:审阅所有步骤和结果,给出一批新的、按优先级排序的实验建议。
然后他把 Codex 产出的高优先级实验清单粘回 Claude Code(搭配 Opus 4.6)去执行。两个 coding assistant 互补——一个想不到的攻击角度,另一个能补上。这是”编排多个 AI 编码助手”的轻量实践,呼应 Meta Harness 的思路。
作者顺带提到只用 Codex 的 20 美元档就觉得很值(体验分享,非赞助披露)。
6. 唯一漏洞:购买后 token 可转发 08:17
作者接着测试付费购买后的下载 token:链接 10 分钟有效、限 3 次下载。测试确认三次限额生效、跨域接受也正常,唯一被判为”真实漏洞”的是 token 可移植——买家可以把链接分享给别人。
作者明确表示不在意这一点:就算一个人买了分享给几个朋友,10 分钟内 3 次下载的限制下,他认为这是可接受风险,不打算修。
这一节示范了红队结论的另一半——找到漏洞后还要做风险判断,不是所有漏洞都值得修。
7. 使用边界:仅限防御 09:06
作者强调这套东西只用于自己站点的防御性自测,绝不能用于 offensive(攻击他人)目的。他还提到,即便你想拿它做明显的攻击性操作,Claude 大概率也会中途拒绝执行。
他另外提到帮一个熟人测过对方的 vibecoded 站(事先征得同意),确实找到了问题——侧面说明”上线前先红队自测”对 vibecoding 产物是真有用的一步。
可执行步骤
- 给要测的 vibecoded 站点写一个明确的攻击目标(如”能否绕过付费墙拿到受保护文件”)
- 用 CLAUDE.md 定义一个白帽渗透测试员角色,配上侦察 / 请求分析类安全 skill
- 搭 program.md / attack.sh / evaluate.sh 三件套,让 evaluate 输出 0-100 分
- 每轮 commit,分高保留、分低 git reset,把每次学到的写进日志
- 跑完一轮后用第二个 assistant 复盘 findings、生成新实验角度再喂回执行
- 只对自己拥有或已获授权的站点做,禁 offensive 用途
关联
- 印证/延伸 Ralph Loop:同为”读清单/历史→执行→验证→前进”的自主循环,本片在验证环节加了 0-100 打分并按分数 keep / reset,是带评估爬山的变体。
- 关联 Meta Harness:本片用 Codex + Claude Code 两个 coding assistant 交叉复盘与执行,正是”编排多个 AI 编码助手”的轻量实践。
- 关联 Vibe Coder:被测对象是 vibecoded 站点,呼应”AI 建站后、公开前先红队自测”的必要性。
术语
- Red teaming(红队):模拟攻击者视角、主动去找系统漏洞的安全测试方式。
- White hat / penetration tester(白帽 / 渗透测试员):获授权、以防御为目的的合法安全测试者。
- Attack surface(攻击面):系统对外暴露、可能被利用的入口总和。
- Paywall(付费墙):内容需付费或持 token 才能访问的门禁。
- Evaluation / scoring function(评分函数):给每次尝试打分、驱动循环保留优解的判据。
金句
“getting the MD files without token is not possible with the current attack surface” → 结论用词很克制:限定”当前攻击面”,而非宣称绝对安全,这才是可信的安全判断姿态。
立场与利益
博主 All About AI 属频道内容营销:视频多处引流自家其它视频(browser automation、auto research 系列)与自建 skill 设置。提到 Codex 20 美元档”很值”是体验分享,未见赞助披露。核心方法(评分驱动循环 + 红队自测)是通用安全/agent 共识,不依赖任何自家付费产品;但具体实现绑定 Claude Code 与 Codex 两个商业工具。
价值定位
- 适合谁:已用 AI vibecoding 建站 / 建 app、担心上线后数据泄露、想在公开前自测安全的人。
- 解决什么:给出一个”目标 + 打分 + 循环 + 双模型复盘”的自测骨架,把模糊的”我的站安全吗”变成可跑的实验流程。
- 认知 vs 实操:偏认知启发加半套可复用骨架。视频未给完整脚本源码,attack.sh / evaluate.sh 的细节需自行补;是”照着搭一个”的思路演示,不是拿来即用的成品。
- 与 Ralph Loop / Meta Harness 的通用循环相比,本片独有把该循环具体落到”网站安全红队”这一垂直场景,并加了评分制爬山。
自检问题
- 这个自动研究循环靠什么机制”越跑越聪明”? 答案:靠 evaluate.sh 给每次攻击打 0-100 分,分高的 commit 保留、分低的 git reset 丢弃,只在更优解上继续迭代(爬山)。见详解2 00:45
- 作者如何补足单个模型想不到的攻击角度? 答案:用第二个 coding assistant(Codex / GPT 5.4)复盘 Claude Code 的 findings、生成高优先级新实验清单,再粘回 Claude Code 执行。见详解5 05:54
- 十几轮测试后发现的唯一”真实漏洞”是什么?作者怎么处理? 答案:购买后的下载 token 可被转发分享(10 分钟 / 3 次限额本身有效),作者判定为可接受风险,不修。见详解6 08:17
- 这套工具的使用边界是什么? 答案:只用于自己拥有 / 已获授权站点的防御性自测,禁 offensive;且 Claude 对明显 offensive 的请求大概率会拒绝执行。见详解7 09:06