All About AI · 15:37 · 发布 2026-07-09 · 247次观看(截至抓取) · 观看原视频
主旨
博主把刚拿到访问权的 OpenAI GPT-5.6(Soul / Terra / Luna 三档)接进 Codex,用同一份 30 天累计约 61 万行、覆盖 43 个市场的 Polymarket BTC 5 分钟数据,并行跑 5.5 extra high 与 5.6 Soul Max,再让 5.6 Soul Ultra 以 brutal honest 方式对两套产物互评打分,集中展示新一代模型在量化策略发现任务上的首测印象。
核心论点
- 同 prompt + 同数据并行两模型,核心价值是看分叉而非单看谁赢——比哪一边分数高,更值得看的是两边解题路径怎么分叉;分数只是分叉的事后注脚。(→ 详解2、3、4)
- 「策略污染隔离」prompt 是对比实验的硬纪律,不写等于请模型作弊——博主显式要求「剔除任何暴露既有或旧策略的回测」,否则模型只会复述训练时学过的常见解法。(→ 详解2)
- 5.6 即便被要求剔旧,仍走了博主熟悉的「real-time fair value」路线——这是「半污染」的边界样本:老师傅熟悉的解法有时确实是当前最优解,但评测材料上不能把它当「全新思路」用。(→ 详解3)
- 让 5.6 当互评裁判,brutal honest 三个字决定了可信度——5.6 给自家策略只打 47/100、却把 5.5 判为「hypothesis insufficient evidence」,而非给自己满分;这句 prompt 是「更严的对手 → 更可信的评分」的关键开关。(→ 详解4)
- 「additional safety checks」是 OpenAI API 工作流的新噪声——跑 Binance curl 等外部 HTTP 时偶发暂停等安全审批,长跑 / cron 工作流必须容忍中途暂停与心跳告警。(→ 详解5)
- 博主定性是「at least a jump」,不是 step change——5.6 速度与 5.5 持平,选出的策略仍贴在博主熟悉的 real-time fair value 路子上,要确认升级还得等他后续把策略真上线跑回测。(→ 详解6)
知识点详解
1. 测试动机与已有成绩 00:03
频道此前已经用 Codex / Claude Code / GPT-5.5 在 Polymarket BTC 5 分钟涨跌市场上跑过一段时间。本片就接着这条线,趁刚拿到 GPT-5.6(代号 Soul / Terra / Luna,博主在 Codex 上选 Soul Max 与 Soul Ultra)的访问资格,直接拿同一份数据再跑一次 prompt,看新模型会挖出什么不同策略。
博主开场就摆出两组「炫耀性战绩」——开局运气好立刻落袋 $69、过去一周盈亏 $213 (01:16 / 01:21)。这两组数字的本意是博主的「经验护城河」,但要警惕:这是单 bot 小样本,2026-06-10-Fable5实测agentic交易的策略与踩坑 里讲过均值回归预期,这两组数字不能当作「这工作流稳赚」的证据。
明确说出来不打算做的:不做榜单、不做 benchmark 内容——博主说「there are bunch of other people doing that」,他要做的是用真实业务任务观察差异 (01:46)。
2. 测试装置:同 prompt + 同数据 + 两模型并行 02:17
博主先用 Artificial Analysis 的指数做了快速参照:Soul Max 落在 59、Fable 紧随其后、5.5 仍停在 55 (01:49 / 01:59)。看数字,5.6 比 5.5 高出 4 分是个「huge numberic increase」,但博主强调要落到自己的真实任务上才算数。
工作流分四步搭起来:(a) 把模型切到 GPT-5.6 Soul Max (03:21);(b) 清掉工作区里所有「暴露既有/旧策略的回测」(包括 strategy compensation、win rate 等指标),只保留数据本体 (04:27 / 04:39)——这一步是关键纪律,本节下文单写;(c) 在干净的 workspace 上用 /goal 把同一份 prompt 跑在 5.6 Soul Max 上 (05:48);(d) 同步开 5.5 extra high,用同样的 prompt 跑在新清出来的文件夹里 (04:16)。
数据规模:03:37 「about 610,000 logged rows across 43 markets」,包含订单簿快照、成交 fills、BTC/USD 蜡烛、元数据。模型以 quant trader 身份在这些数据上自主挖策,约束只有「避免滑点、尽量避手续费、做 Monte Carlo、控 drawdown、最终目标是长期可跑」(prompt 全文参见下方引文)。
关于「策略污染隔离」这条纪律: 这一句 prompt 必须显式写出来,且不可省略。如果不显式要求剔除旧策略,模型只会复述它在训练时已经「会背」的常见解法——比如经典的 fair value / moving average / order book imbalance 等(04:27)。这条准则的可重用价值远超本片一次对比:任何「模型 A vs 模型 B」或「同一模型不同时点对比」的实验,都应该把「移除所有暴露既有策略的回测」作为默认 prompt 前缀。否则新模型永远会回退到最熟的那条老师傅解法,你没法区分它是真的解决得更好还是只是「记得更牢」。
附带一个工程教训:博主特意为这次测试新建了一个干净的数据文件夹,「We don’t want any contamination」(04:16)——Auto-Research 的工程纪律在此也成立:对比实验不与产出实验共用工作区,否则你分不清成绩来自 prompt 还是来自文件夹里残留的旧解。
3. 5.6 复现了博主熟悉的那条老路 07:40
5.6 Soul Max 第一轮跑下来,博主的第一反应是「I am really happy with the path it went down here」(07:40)——它选的是「the real time fair value model that we have kind of been using before」。博主补充说「I’m interested to see if it’s going to take like a different take on it, but that is exactly what I hoped to see」:他既想看 5.6 有没有给新解,又对 5.6 复现出他自己已经在用的路线表示满意。
这是个值得反复咀嚼的边界样本:5.6 并没有给出全新策略,但 prompt 已经要求剥掉旧策略。两个解释可能都成立:(a) real-time fair value 在这份 BTC 5 分钟数据上,客观就是当前最优解,5.6 自己看出来的;(b) 5.6 的训练数据里见过太多 crypto 短期预测的常见套路,它挑选的是「老师傅最熟」的那条路而非「真正的最优」。
无论哪种,后续的「模型互评」环节都需要把这条策略当作「半污染样本」来读——不能宣称 5.6 给出了独立于博主经验的全新思路。
同步跑的 5.5 extra high 挑出了另一套策略,博主坦言因为在看电视转播没有细讲具体方向,只看到产物的 markdown 文件落在磁盘上 (09:59 / 10:23)。这一处细节本身不构成结论,但提示了一个工作流坑:长跑 prompt 跑出产物而你不在现场时,产物落盘的结构必须可追溯,否则后续互评时会出现「看了产物但说不出它到底做了什么」的尴尬。
4. 让 5.6 自己当裁判:brutal honest 的互评 11:53
两轮 prompt 跑完后,博主开了第三个 prompt:把 5.6 切到 Soul Ultra 高推理档,作为裁判给两套策略互评打分 (11:53)。指令原文要点是「We have two different poly market strategies in GPT 5.5 and 5.6… Please evaluate both strategies as an expert quant trader. We know some data is missing, but focus on the best potential strategy. Be brutal, honest, and give a rating from zero to 100 for both」(12:15)。
跑出来两组结论:
- 5.6 策略 打 47 / 100——博主自评「not great but it has the best potential」(13:21 / 13:29);
- 5.5 策略 被判 “interesting hypothesis, insufficient evidence so far”(13:36)。
5.6 给 5.6 自己策略打出更高分所列的三条理由:better economic thesis、chronological training validation、claimed untouched 20-day hold out(13:55)。最终建议是「主投 5.6 做进一步研究、5.5 留作简单对照策略」(14:09)。
这一段最值得复盘的是「be brutal, honest」四个字:5.6 作为裁判给自家策略只打了 47,而不是往满分拉;给 5.5 一条明确判词而不是打个 60/100 当和事佬。「brutal honest」是 prompt 工程里被严重低估的指令词——它直接决定了模型作为裁判是「公正还是不公正」。把它换成「give a fair rating」,5.6 大概率会给自家策略 80+,互评就失去意义。
这条经验的迁移范围超出模型对比:任何「让 LLM 当裁判」的评估任务——选最佳 prompt、排序多个候选方案、给候选代码打分——都应该把「be brutal」或同等限定词作为强制要求,而不是默认它会主动放低评分。
5. Additional safety checks:API 调用的新中断噪声 06:44
5.6 Soul Max 跑第一轮时,模型中途停下来问了一句「this request requires additional safety checks which can take extra time」,弹出「allow / learn more」二选一 (06:44)。博主从当时模型在做的 API call 日志里看到是 Binance curl 这种外部 HTTP 请求 (07:00),事后推断这是 OpenAI 在涉及外部 HTTP 调用时新增的中间审查。
博主当场选「keep waiting」,没让中断影响工作流。但这条不是孤例——片尾他又复述了一遍同样的中断,说「this is something new I haven’t seen before」,明确表示在 5.5 上没遇到过同类现象。
对 agentic 交易 / 长跑 prompt 而言,这条「安全审查暂停」带来两个工程约束:(a) 批处理式 prompt 必须设计成「可断点续跑」,不能假定指令一发到底——5.6 在 5.5 时代等价的指令一次性跑到底的假设,现在需要换成像 2026-04-08-Claude Code 无头循环搭被动收入自动化 那样的无头循环工作流,加心跳、加日志、加超时重试;(b) 长时间无人值守的 cron agent 会因为某次安全抽查被卡住,必须配通知 / 兜底,否则你下次开电脑时会发现 agent 已经静默等了好几天。
这不是临时 bug 而是写在 OpenAI 模型行为里的新机制——如果你在做 agent 后台工作流(尤其是 forward-goal 型长跑任务),就必须把这条中断当成既有成本写进 harness,而不是事后补救。
6. 速度持平、策略有趣、样本太小 12:56
博主对 5.6 的总体主观印象:12:56「the speed felt pretty good, didn’t have any issues. I know they are doing like a slow roll out but the speed felt pretty good. Nothing worse than 5.5 at least.」——即便他知道 OpenAI 还在做慢放量,5.6 的响应速度与 5.5 持平甚至稍快。
更显眼的是博主的策略观察:14:55「I’m going to continue looking more into the strategy because I haven’t seen it from any other model so far」——后半段「it kind of picked a strategy I haven’t seen before from any other model」,在他看来是 5.6 选出一个跟 Fable 5 / Claude 等其它模型都不一样的新解。
但紧接着博主就给自己泼了凉水:14:58「the first impressions were pretty good」,收尾判断是:15:17「is it like a step change or is it just like a small incremental jump? If we just look at the ratings here, that is very non-scientific. Uh it is a jump at least.」
也就是说博主的立场是:(a) 5.6 至少算一个 jump 不是小幅升级;(b) 但评分基于的评测材料不够,他自己也承认是「very non-scientific」;(c) 要确认是不是 step change,得等他后续把 5.6 选出的策略真上线跑回测再判断——这是 5.6 唯一需要补做的证据。
这条主观结论的可学习点不是「5.6 是不是 jump」,而是博主给出结论时显式列出支撑证据强度的做法——他没说「jump,所以革命性」,而是说「jump ≥ 当前证据强度仅支持」,留下了 up-coming 视频作为再评估通道。
可执行步骤
- 用两模型并行挖同一份数据时,把「remove any tests that reveal our current or old strategy」一句明确写进 prompt,作为对比实验的硬前缀。
- 给对比实验另建一个干净的数据文件夹,不要复用工作区——残留的旧回测结果会让模型跑偏,你也分不清效果来自 prompt 还是来自旧解。
- 让 LLM 当裁判做 0-100 评分时,prompt 里强制加「be brutal, honest」一类的限定词;默认换成它多半会给自己或友军打分过宽。
- 跑长跑 prompt 时,把「模型可能在外部 HTTP 调用时插入 safety check 暂停」当作既有成本:设计断点续跑、心跳告警、超时重试,不要假设指令一发到底。
- 评估模型时除了看榜单,留一段「同 prompt + 同数据 + 并行两模型 + 第三模型 brutal 互评」的对比录像;差异比绝对分数更值得留下。
- 博主最终判断维持「jump > 当前证据」的分级口径,真要确认 step change 等下一段把策略真上线回测的视频。
关联
- 进阶: 2026-07-08-AI自动化30天回顾-iOS-App与Polymarket-maker战绩 是同作者 1 天前的视频,里面明确预告「GPT 5.6 发布后再出一期」,本片就是那条预告的兑现。先读 7-08 看清楚他 Polymarket 当前 maker / taker 视角现状(以及预告本身),再读本片理解这次新模型登场后他用同份数据做了什么——7-08 里的「GPT 5.6 发布后我会再评测」这句话是本片存在的语境。
- 进阶: 2026-06-10-Fable5实测agentic交易的策略与踩坑 是同作者用 Claude Fable 5 跑同一市场(领先-滞后套利 + 实时公平价值)的视频,本片 5.6 选回的「real time fair value model」与那一期用的是同族策略。先读 6-10 知道这条路的来历与 正EV交易 框架,再读本片理解新模型相对于 Fable 5 在「策略选择与污染隔离」上的具体差异——两期合读才能拼出这条赛道的全貌。
一手来源与延伸
- 模型指数来源: Artificial Analysis —— 本片用作 5.5 / 5.6 快速对照的第三方能力指数,博主原话「this is really good, right? The soulmax is on 59. That’s just one point behind fable.」（01:46 之后）;虽未在 description 列明,但视频中明确点出站名「artificial analysis」。
- 标的平台: Polymarket —— description 给的 referral 链接,本片 30 天数据的来源地,带作者导流参数。
- 模型 API(运行环境): 本片在 OpenAI Codex 上完成,说明 GPT-5.6 Soul / Terra / Luna 三档已开放给 Codex 订阅用户,与 [2026-07-09 wes-roth 同步发布的 GPT-5.6 介绍](2026-07-09-GPT-5.6 系列登场：Soul 自主后训练 Luna，ChatGPT work 桌面端与设计跃迁) 是同一组模型的不同侧面;后者讲通用能力跃迁,本片讲量化任务首测。
术语
- GPT-5.6 / Soul / Terra / Luna(2026-07-09 OpenAI 发布的 GPT-5.6 系列三档代码名,Soul 是推理主力档,内部又有 Max / Ultra 高低两档)
- Artificial Analysis(artificialanalysis.ai,第三方模型能力指数站点,常被用来做 GPT 系 vs Claude 系 vs Fable 的横向参照)
- Real-time fair value model(用实时订单簿 / 成交 / 价格数据滚动估算 fair value 并据此下单的策略族,与 领先-滞后套利 高度重叠但不重合)
- Monte Carlo simulation(蒙特卡洛模拟,用随机抽样估计胜率分布与回撤上界,本片 prompt 里强制要求做的风控步骤)
- Drawdown(账户从峰值回撤的幅度,本片 prompt 要求模型重点控制的对象)
/goalprompt(OpenAI Codex 里以 slash 形式调用的「设定目标自主推进」型 prompt,是 forward-goal 在 Codex 中的具体落地)- Additional safety checks(OpenAI API 在调用外部 HTTP(如 Binance curl)时偶发插入的安全审批暂停,本片首次被提出)
金句
“I’m really happy with the path it went down here because it is actually going to pick the real time fair value model that we have kind of been using before.” (07:40) → 即便 prompt 已明确要求剔除旧策略,模型仍可能从训练时学过的「crypto 短期预测套路」里挑出最熟的那条路——这条老路不见得是差路,但评测材料上必须把它当作「半污染」样本读。
“Be brutal, honest, and give a rating from zero to 100 for both.” (12:15) → 当被用作「让 LLM 当裁判」的评分指令时,brutal 这一限定词比「give a fair rating」更能把评分从「互相抬」拉回「真实差距」。
“If we just look at the ratings here, that is very non-scientific. Uh it is a jump at least.” (15:17) → 博主给出结论时显式列出支撑证据强度——他没说「jump 所以革命性」,而是「jump ≥ 当前证据仅支持 jump」,留出下一段把策略上线回测作为再评估通道。
立场与利益
description 含 Polymarket referral(?r=allaboutai)、自有 AI 视频课程(theaivideocourse.com)、技能店(skillsmd.store)、频道会员入口,与频道往期片尾标配一致。
- 与利益同向(待印证): 「GPT-5.6 在 Polymarket 策略发现上跳了一个档」是与频道涨粉、课程 / 技能店转化都同向的核心主张;具体证据(开场 $69、过去一周 $213)仍是博主单方屏幕自述,无第三方对账,标「待印证」。
- 利益中性: 「策略污染隔离 prompt 必要性」「be brutal honest 让模型打分更可信」「additional safety checks 中断需要 harness 兜底」都是独立可验证的工程经验,与博主商品化产品无直接挂钩。
- 与利益反向: 无——博主结尾明确让步「ratings is very non-scientific」是局部保留,但全片没有出现「GPT-5.6 在策略发现上没升级」或「这场对比失败」的承认,本片立场与博主核心利益保持一致。
价值定位
- 适合谁: 已经在 Polymarket / 量化实验上跑 agentic trading,想知道 GPT-5.6 是否值得立刻接入的人;对「两模型并行 + 第三模型互评」作为评测范式感兴趣的研究 / 工程读者。
- 解决什么: 用 15 分钟的屏幕录像,把「同 prompt + 同数据 + 两模型并行 + 5.6 Ultra 高推理档互评」这一组合跑了一遍,展示了 GPT-5.6 在真实量化任务上的策略偏好、速度画像与 API 中断新噪声,并把可迁移的工程纪律(策略污染隔离、brutal honest 评分、长跑 prompt 的 safety check 中断兜底)抽出来。
- 认知 vs 实操: 偏认知 + 演示——具体策略细节、Monte Carlo 参数、prompt 完整文本一概藏在「go back to my previous videos」里,本片不构成可直接复制的策略代码;但工作流范式与三条纪律点可直接迁移。
- 与 2026-07-08-AI自动化30天回顾-iOS-App与Polymarket-maker战绩 重叠(同作者、同市场、相隔一天),但本片独有「同一份数据并行挖策 + 第三档 brutal 互评」的评测组合,以及「5.6 在 fair value 路线上的半污染样本」这个评测边界样本——这是 7-08 没做过的实验设计。
自检问题
- 博主在测试开始时让模型「剔除暴露既有或旧策略的回测」,这一步的作用是什么?可以省略吗? 答案:不能省——不写这一步,模型只会调出它在训练时「会背」的常见策略,无法区分新模型是真解出新题还是只是「记得更牢」。本片 5.6 仍选出博主熟悉的 real-time fair value model 就是「半污染」的边界案例。详解2。04:27
- 「be brutal, honest」这句 prompt 在模型互评场景里起的作用是什么? 答案:把「更严」显式写进 prompt,逼模型放弃偏向性。本片证据:5.6 作为裁判给自家策略只打 47/100、给 5.5 明确判「insufficient evidence」而不是和稀泥。详解4。12:15
- 「additional safety checks」中断对长跑 prompt 的实际影响是什么? 答案:模型在调用外部 HTTP(如 Binance curl)时偶发暂停等安全审批;长跑 / cron 工作流必须容忍中途暂停、设计心跳 / 通知 / 断点续跑,不能假设指令一次性跑到底。详解5。06:44
- 博主对 5.6 的最终主观判断是什么?他是依据哪些证据得出的? 答案:「at least a jump」而不是 step change。证据:速度与 5.5 持平稍快;5.6 选出的策略仍贴在博主熟悉的 real-time fair value 路线上;5.6 自评自分仅 47/100 且博主承认「very non-scientific」;要确认升级还得看他后续把策略真上线跑回测。详解6。15:17
- 5.6 与 5.5 在挑选策略时表现出的差异是什么?为什么这个差异比「谁赢谁输」更值得看? 答案:5.6 选了博主已经在用的 real-time fair value,5.5 选了另一套策略——即便 prompt 已要求剔旧策略,5.6 仍可能从训练先验里挑出「老师傅熟悉」的那条路。这个分叉本身就是评测材料:它同时暴露了「5.6 没有给出独立于博主经验的全新解」这件事,而分数(47 vs insufficient evidence)只是事后注脚。详解2、3、4。07:40