本章属长课 00-总览 · 第 5/5 段 · 1:16:44–1:35:52(机械切分)
章节主旨
本章是整场对谈的收尾段:从”自托管推理的未来会渗透到哪些场景”切入,落到 0xSero 自己 GPU 集群的功耗/散热/电路硬限制与扩容计划,再展开到审查与政府干预风险(以 Hermes 70B 为例)、开源权重要不要提前囤积保种,最后回到 David Ondrej 本人为何押注 AI、他频道听众对”谁该掌控 AI 未来”的投票结果,以及一段开源具身智能硬件栈的实机演示。
核心论点
- 自托管推理的未来远不止写代码,会渗透进机器人、健康追踪、家居控制等此前”零智能”的日常场景。(→ 详解1)
- 家用 GPU 集群的真实瓶颈不是算力也不是钱,而是电路容量、散热和噪音;0xSero 靠把 GPU 功耗封顶在额定 40% 换取可持续运行。(→ 详解2)
- 政府对 AI 的干预是”新闻驱动 + 竞价”逻辑,不看真假只看能否被政治化;主流模型的审查(拒答仙人掌养护问题)把用户推向 Hermes 70B 这类专门去审查的开源模型。(→ 详解3)
- 开源权重存在被下架的现实风险(传言法国政府向 Hugging Face 施压下架数据集),提前下载并保有权重、类比早年 torrent”保种”文化,是低成本的保险。(→ 详解4)
- 两人都不认为模型进步在放缓,但普通人对 AI 严重程度的认知落差极大——真正理解其影响(尤其是集中化风险)的人比例逐层递减。(→ 详解5)
- David Ondrej 全职押注 AI,是因为这是他人生第一次能亲历的重大技术革命,叠加他一贯的自由意志主义价值观——“不该有人替我决定能问什么”。(→ 详解6)
- 听众投票显示 82% 认为 AI 未来不该被政府或企业单方掌控;这与 0xSero 展示的约 3 万美元级开源具身智能栈共同指向同一个愿景——智能应该分散在每个人手中。(→ 详解7)
知识点详解
1. 自托管推理的未来:不止写代码 1:16:58
现在人们对”推理”的想象基本停留在写代码(Claude Code、Codex)这一个场景,但 0xSero 认为 自托管 会越来越深入——真正有意思的未来来自数量级更大的应用面:机器人、可穿戴健康追踪、家居控制等此前从未被触碰的用例。他举了 Pi 项目创始人 Mario 的例子:本地跑的 Gemma 模型实时控制一台由儿童玩具拼装改造的机器人,能跟着人走、播放音乐。
这类东西不是来自大公司的产品路线图,而是”人们在家瞎捣鼓”才能催生出来的。对谈中还提到交通信号灯这个日常”零智能”场景——一个方向没车、另一个方向排长队,红灯照样傻等——未必需要 agent,简单规则就能优化,但它点出一个更大的判断:凡是有决策发生的地方,廉价的本地智能几乎都能带来改善,而这个改善空间目前几乎完全没被开发。
2. 家用 GPU 集群的真实瓶颈:电路、散热、功耗封顶 1:19:15
0xSero 把自己全部 GPU 的功耗上限锁定在额定值的 40%,代价是推理速度慢了 20%-30%,换来的是电费大幅下降——对他而言这笔账划算。房屋电力已经升级过一次,今年 9 月还要再升一次,计划再添四张 RTX 6000,但升到那之后他认为”再堆下去意义不大”。
真正卡脖子的不是钱也不是 GPU 本身,而是散热、噪音和电路容量:一台真跑推理的机器会发热、会吵,美国规范下八张 6000 需要四条独立电路才能供上电,这在他看来”有点离谱”。1:20:16 为此他打算把整套机架搬去一位已经有类似”迷你数据中心”的朋友家里,借用别人的场地和电力基础设施来绕开这些硬限制。1:19:53
3. 审查与政府干预:新闻驱动的竞价逻辑 1:22:53
被问及”在家跑无审查模型会不会引来政府找麻烦”,0xSero 认为关键看规模和是否上新闻——至少在美国,政客是被新闻驱动的,一件事真假不重要,只要能被拿去炒作、只要有人愿意出钱把某个议题推上台面,它就会进入政治议程。他半开玩笑地提议,应该有类似 Human Rights Foundation 的组织专门设预算去游说政客别插手,因为说到底政客要的是”被给钱”,谁给钱谁说了算。
他自己实际用过 Hermes 70B——一个经过大量后训练专门去掉审查的开源模型——原因很具体:他养了一株别人送的仙人掌(peyote),想知道怎么照顾,拍照问 ChatGPT 和 Claude 都因”涉毒”话题直接拒答,换成 Hermes 就能正常给出浇水频率等实用建议。1:23:08 他的结论是:这类信息网上本来就查得到,审查模型省下的只是”自己在博客堆里筛半小时”的时间——差别只是便利性,不是信息本身能不能拿到。
4. 权重囤积:把开源模型当成”保种”的对象 1:24:23
David 提到自己在播客上采访过 Hugging Face 产品负责人 Victor,对方说起法国政府曾要求下架某些数据集——虽然记忆不一定准确,但这被两人当作一个信号:如果政府真要出手,大概率不是直接关站,而是先盯上具体发布者、要求下架特定模型或数据集。
0xSero 由此类比自己小时候靠 BitTorrent 获取游戏和资源的经历:保种文化的核心是”你必须先持有文件”。1:24:56 他现在存了大约 12TB 的模型权重和数据集,认为这远远不够,还要继续囤;存储比 GPU 便宜得多,普通人完全负担得起下载、留存甚至日后做种,这是应对”未来某天想用的模型/数据集突然被下架”最低成本的保险。1:25:28
5. 进步是否在放缓?认知落差的层层递减 1:26:17
两人都不认为模型进步在放缓——0xSero 甚至观察到小模型这一层的进步比大模型更快,但他也承认自己活在”信息茧房”里,身边普通人、艺术家对 AI 明显没那么在意。David 呼应说这是”史上最重要的技术”,却几乎没人真正上心:身边一大票朋友对 Fable 5 这种量级的能力跃升毫无反应,当它后来被下架关闭时,能意识到”背后是谁掌控智能未来”这层含义的人更是少之又少。
两人的共识是:越往”真正理解意味着什么”这一层走,认同的人比例就越往下掉——先是”AI 有多强”这层就没多少人关心,再往下”如果被少数几方集中掌控意味着什么”这层,关心的人就更少了。1:27:32 这也是本章后半段落到”智能不能被集中化”这个立场的铺垫。
6. David Ondrej 的个人押注:错过的窗口与自由意志主义 1:29:31
被问到是什么让他”all in”押注 AI,David 回溯说自己一直有偏自由意志主义的价值观,早在 11、12 岁就跟同学讲过央行体系。但真正让他押上全部的是时机:AI 是他人生第一次能亲身赶上的重大技术革命——互联网泡沫发生在他出生前后,社交媒体最好的入场时机是 2004-2006 年,移动应用是 2010 年代,比特币最佳买点是 2013 年前,每一波他都”太早、没有钱、赶不上”。24 岁这年他判断这是自己唯一能真正参与的大浪潮,于是从原本月入 2 万美元的游戏内容频道全部转向 AI。
对于开源和无审查内容为何是他的核心方向,他给出的理由同样是价值观驱动:“凭什么是 Dario Amodei 来决定我能问什么”——不管是欧洲某个官僚、冯德莱恩,还是被人游说的美国政客,“这项史上最重要的技术不该被少数政治家或几家公司 CEO 集中掌控”这一点,对他而言”obvious 到没法用逻辑推导,但就是显而易见”。1:29:57
7. 82% 投票与开源具身智能栈:分散智能的愿景 1:31:03
David 展示了自己频道最近做的投票:“未来 AI 该由谁掌控”,82% 选”谁都不该、应该开源”,企业和政府分别只占 6% 和 5%;下一场投票问”为什么想要开源 AI”,排前面的理由是更便宜/免费获取、隐私与可控、不信任大型 AI 实验室。参与投票的约 2600 人、频道 40 万订阅,换算成互动率也相当高。
同一段对谈里,0xSero 展示了自己在德国 Micro AGI 实验室见到的具身智能栈:一台 Unitree 机器人(约 2 万美元)+ 一台 DGX Spark(约 4000 美元)+ 一副 VR 头显(约 1000 美元),配合 Nvidia 开源发布的训练数据、脚本、权重和基础模型,用 Gemma 4B 这种小模型就能实时控制机器人做出拿箱子、翻转物体、接线缆这类决策。1:34:31 总花费约 3 万美元就能在家搭出一套”没人能拦着你”的真实机器人系统——这被他视为家庭教育(给孩子做个性化、动手的教育)等场景的下一个爆发点。1:34:46
关联
- 印证:self-hosting AI 原本强调的是省钱/隐私/可控动机,本章把它升级为一套完整意识形态——抗审查 + 反集中化,并补上了功耗封顶、电路容量这类此前笔记没覆盖的实操硬件细节。
术语
- power capping(功耗封顶):把 GPU 功耗上限手动调低,用一定推理速度损失换取更低电费、发热与噪音
- Hermes 70B:经重度后训练去除内容审查的开源模型,常被用来问被主流闭源模型拒答的问题
- 保种(seeding,torrent 文化类比):本章引申为提前下载并囤积开源模型权重/数据集,以应对未来可能的下架风险
- Micro AGI:一家用可穿戴设备采集真实世界任务数据、训练具身智能模型的公司
- DGX Spark:Nvidia 面向个人开发者的小型 AI 算力设备,本章作为具身智能栈的”大脑”硬件出现
自检问题
- 0xSero 为什么要把自己的 GPU 功耗封顶在 40%?代价和收益各是什么? 答案:换取远低于满载的电费和更少发热/噪音,代价是推理速度慢 20%-30%,对他而言这笔账划算。1:19:15
- 两人为什么认为政府”直接关站”不太可能,反而更可能先下架具体模型/数据集? 答案:传言法国政府是先向 Hugging Face 施压要求下架特定数据集/模型,而非直接关闭整个网站,政府更可能盯着具体发布者下手。1:24:23
- 0xSero 用什么类比说明”现在就该下载、囤积开源权重”? 答案:类比他小时候靠 BitTorrent 获取资源的”保种文化”——你必须先持有文件;存储比 GPU 便宜得多,普通人完全负担得起先囤起来当保险。1:24:56
- David Ondrej 说的”层层递减”的认知落差具体指什么? 答案:关心”AI 有多强”的人本来就是少数,再往下关心”智能被少数几方集中掌控意味着什么”这层的人比例更小——一层比一层少。1:26:17
- 0xSero 展示的具身智能栈由哪三样硬件组成,总花费大约多少? 答案:Unitree 机器人(约 2 万美元)+ DGX Spark(约 4000 美元)+ VR 头显(约 1000 美元),总计约 3 万美元。1:34:31