本章属长课 00-总览 · 第 4/5 段 · 57:33–1:16:44(机械切分)
主旨
嘉宾 0xSero 用一张”参数量/活跃参数”对照表,给出”预算→硬件→模型”的反向选型决策链,并现场演示自己家用硬件跑量化压缩后的 GLM 5.2 与 DeepSeek V4 Flash 完成建站、整理文件等 agentic 任务。
核心论点
- 选购本地推理硬件该按”预算→硬件→模型”这条反向决策链走,而非先拍脑袋买卡。(→ 详解1)
- 6 个月 $100k 预算下最优解是 8 张 RTX Pro 6000,能全速跑遍当前所有开源旗舰模型;预算若只有其 20%,该买 DGX Spark。(→ 详解2)
- Mac 与 DGX Spark 可用 Exo 组合,分摊 prefill(提示词处理)和 decode(逐 token 生成)两个阶段,换取显存和速度的双重收益。(→ 详解3)
- 跨设备搬运 attention 以拼凑 Nvidia 速度的”分离式推理”仍处研究阶段,消费级尚不可用,但大厂内部已经在这么做。(→ 详解4)
- 把订阅支出的一部分转成硬件所有权,长期更划算;这也催生了”帮企业搭自托管私有推理”这个新兴职业机会。(→ 详解5)
- 现场演示证明:量化压缩后的 GLM 5.2 和 DeepSeek V4 Flash 已能在家用硬件上跑出可用的 agentic 编程与文件整理任务。(→ 详解6)
知识点详解
1. 硬件决策的三种切入方式与”活跃参数”指标 58:28
0xSero 先给出一张对照表:MiniMax M2.7 总参数 229B、活跃参数 10B;Kimi K2.5/2.6 总参数 1T、活跃参数 30B;GLM 5 总参数 744B、活跃参数 40B(58:45);Qwen 3.6 活跃参数 27B,单 token 智能程度接近 Kimi,只是知识覆盖面更窄。活跃参数越高,每个生成 token 携带的”智能密度”越高,但也意味着更慢。
选型有三条切入路径:手上已有硬件,反过来匹配能跑的模型和配置;定好预算,再看这笔钱能买到什么速度的什么模型;或者先锁定想跑的模型,由它倒推需要的硬件。三条路径殊途同归,但起点不同,决定了先看什么表格。
如果目标是跑 GLM 5 且要 15 token/s 以上(59:43),就必须上 Nvidia、大概率是 RTX 6000 这一档——再大太贵,再小要堆到 24 张卡不现实。
2. 按预算分层的硬件路线图:RTX Pro 6000 / DGX Spark / 3090 60:44
若 6 个月内计划投入 $100k,答案是 RTX Pro 6000:每张约 $10k,6 个月买 6 张、加 2 个月凑够 8 张,合计 768GB 显存,能在高精度、全上下文窗口下以 100+ token/s 跑遍 Kimi、GLM 等当前所有旗舰模型。
若预算只有约 20%(如 $20k),推荐 DGX Spark:单台 128GB,擅长训练、prefill 和微调(61:36),但 decode 速度较慢——跑 10-20B 活跃参数的 MoE 模型能到 20-40 token/s。预算再小(6 个月 $2000 量级),两张 3090 就能跑遍 Qwen 和 Gemma 系列(62:36)。
Mac Ultra 走另一条路线:花 $10k-15k 能买到 512GB 统一内存,单位显存成本远低于 Nvidia 方案(同等容量 Nvidia 要 $100k),但活跃参数高、模型大时速度会明显偏慢,更适合”内存优先、速度其次”的场景。
3. Exo 跨设备组合:Mac 与 DGX Spark 分摊 prefill / decode 63:11
推理分两步:prefill(提示词处理,要求整段权重先加载进显存/高速内存,64:44)和 decode(逐 token 生成,占用量约为活跃参数对应的那部分,通常只需 prefill 所需内存的 1/10,64:53)。DGX Spark 擅长 prefill,Mac 擅长 decode,二者用 Exo 组合起来,prefill 丢给 Spark、token 生成放到 Mac,平均能拿到约两倍显存、1.5-2 倍速度提升。
单纯堆多台 Mac(不搭配 Spark)也有一定加速——Apple 在 AI 硬件迭代上进步很快,且升级内存的单位成本比 Nvidia 便宜得多。但如果目标是”完全替代 Claude Code 或 Codex 而感觉不出差别”的前沿速度,现阶段唯一选项仍是 Nvidia。
4. 跨卡搬运 attention 的”分离式推理”仍是实验阶段
对 MoE 模型(如 GLM 5.2,744B 总参数、40B 活跃),若能把 RTX Pro 6000 和 DGX Spark 高效连接、把 token 生成阶段涉及的 attention 数据快速搬到 RTX 6000 上,理论上能用更低成本拿到接近 Nvidia 的速度——这就是 分离式推理(disaggregated inference,把 prefill 和 decode 拆到不同硬件上跑)的思路。0xSero 强调这在消费级还只是实验性想法,不少人质疑,但像 AWS 用自家 Titanium 芯片配合 Nvidia GPU 拆分负载,大型实验室内部早已这么干,只是消费端工具链还没跟上。
他判断:硬件本身的价格短期不会降,Nvidia 产能追不上需求;但”跑同等前沿智能”所需的成本会持续下降。结论是想买硬件就尽早买,越晚等价的智能只会更便宜实现,但卡本身不会更便宜。
5. 从”月付订阅”转向”硬件所有权”:经济学与新职业机会 66:45
0xSero 用”租房 vs 按揭”类比(66:47):如果一件事要长期依赖,该把预算投向”拥有”而不是”持续租用”。主持人当场对照自己每月 $5000-9000 花在 OpenRouter 订阅上(自己+员工),意识到若把这部分持续投入硬件,6-12 个月就能自建能替代大部分订阅的本地算力,只留少量订阅体验最前沿模型。
这套逻辑放大到企业级同样成立:有公司一年花 $30 万在 Anthropic 账单上,很多非 AI 公司在 AI 上的年支出已到千万美元级。医疗、金融、法律等行业的很多公司因合规原因根本不能把数据发给 OpenAI 或 Anthropic 的 API(70:00),却也不想在 AI 能力上掉队——只是不知道自建私有推理其实可行,也不知道该怎么花这笔预算、该跑哪些模型。
这催生了具体的商业机会:0xSero 提到华沙一位朋友的公司已经自建了包含多台 DGX Spark、5090、6000、甚至几张 B200 的数据中心并分给员工用;德国一家软件开发公司同样逐步采购硬件,建成”德国私有推理”服务对外提供(71:28)。他判断这类”从底层到上层搭建自托管方案”的专业能力将成为一个真正的新兴职位(70:26),比单纯帮企业做前端 vibe coding 更有分量。
6. 现场演示:压缩后的本地模型跑 agentic 任务 72:29
0xSero 现场展示自己家里运行的 GLM 5.2:经过自定义量化压缩,压缩率约 80%(行业常见做法约 75%,72:52),单次尝试就生成了一个可玩的 3D Flappy Bird 网页,证明压缩后的模型仍保留可用的编码能力。
另一台机器并行跑两个 DeepSeek V4 Flash 会话(73:16):一个负责整理杂乱的下载文件夹(自动分类建目录、搬移文件),一个负责调研推理引擎和 GPU 信息。0xSero 强调这类任务本可能耗时 30-60 分钟人工完成,现在交给本地模型后自己可以去做别的事——是”经济意义上真实产出的工作”。
数据佐证可行性:GLM 5.2 在其硬件上跑出约 62 token/s(75:44),本地每月消耗约 3.74 亿 token(75:54),不过他坦言远程调用的 token 消耗量仍然更大。结论是:自托管在去年还不现实,今年靠量化压缩等技术已经变得可行,但前沿旗舰模型对硬件成本的要求仍在上升。
术语
- 活跃参数(active parameters):MoE 模型里每次推理实际参与计算的参数量,决定单 token 的”智能密度”和生成速度。
- prefill:推理的第一阶段,处理输入提示词,需要把整套权重加载进高速内存。
- decode:推理的第二阶段,逐 token 生成,内存占用远小于 prefill(约为其 1/10)。
- Exo:能把多台 Mac 和/或 DGX Spark 组合成一套推理集群的编排工具,分别承担 prefill 与 decode。
- 分离式推理(disaggregated inference):把 prefill 和 decode 拆到不同硬件上分别执行,以组合各自的性价比优势。
- DGX Spark:Nvidia 的小型算力设备,单台 128GB,擅长训练、prefill 和微调,decode 速度较慢。
- RTX Pro 6000:Nvidia 专业卡,本课中作为”高预算、高速本地推理”的首选硬件。
关联
- 印证:self-hosting AI(见 2025-12-22 笔记)提出的”自托管换省钱、隐私与可控性”的权衡,本段用具体预算/硬件/token 数据把这个权衡量化到了企业级——尤其是医疗、金融、法律等合规敏感行业。
- 印证:OpenRouter(见 2026-04-25 笔记,按用量付费的统一 API 入口)在本段被当作”租”的一方,与”买硬件长期持有”的经济账形成对照,而非冲突——两篇笔记对 OpenRouter 的定位一致。
价值定位
面向已经在为团队或自己支付可观 LLM API/订阅费用、并认真考虑要不要自建本地算力的人:视频给出了从”要不要买”到”买多少、买什么”的完整决策链和具体价格点,认知与实操并重——决策框架(预算→硬件→模型)是认知层,RTX 6000/DGX Spark/3090 的具体规格与 token/s 数字是可直接拿去比价的实操层。对只是好奇本地大模型能跑多快、不打算真买硬件的人,价值有限,更多是长知识。
自检问题
- GLM 5 的总参数和活跃参数分别是多少?这意味着什么? 答案:744B 总参数、40B 活跃参数;活跃参数越高,单 token 的智能密度越高,但速度也越慢。58:45
- 6 个月预算 $100k 时,0xSero 推荐的具体方案是什么? 答案:8 张 RTX Pro 6000(每张约 $10k),合计 768GB 显存,能以 100+ token/s 跑当前所有开源旗舰模型。60:44
- Exo 把 Mac 和 DGX Spark 组合起来时,分别用它们干什么? 答案:DGX Spark 负责 prefill(提示词处理),Mac 负责 decode(token 生成),平均能拿到约两倍显存、1.5-2 倍速度提升。63:11
- 为什么很多医疗、金融、法律行业的公司即使有预算也不用前沿 API 模型? 答案:出于合规,这些行业的数据在法律上不允许发送给 OpenAI 或 Anthropic 的 API,只是它们往往也不知道自建私有推理其实可行。70:00
- 现场演示中,压缩后的 GLM 5.2 跑出了多少 token/s、每月本地消耗多少 token? 答案:约 62 token/s,每月本地消耗约 3.74 亿 token(远程调用消耗量仍更大)。75:44