YT 学习笔记

运行开源 AI 模型的每一种方式:四大类 + 两个进阶

19分钟阅读下载 MD

封面

Tina Huang · 17:32 · 发布 2026-03-24 · 24.3万次观看(截至抓取) · 观看原视频

🔥 观众最高回放 02:48 — 讲小模型的硬件门槛:任何还能用的电脑基本都能跑 4B 小模型,普通 MacBook Air(M4 / 16GB)也能跑多数 8B。

主旨

把「运行开源 AI 模型」的所有主流路径,按从易到难排成四大类(本地 / 浏览器托管沙盒 / 托管推理 API / VPS)加两个进阶类(托管云 / 端侧),各自说清适合谁、怎么起步、代价在哪。

核心论点

  1. 运行开源模型早已不再需要高端硬件或写代码——几个月前也许还难,现在门槛被大幅拉平。(→ 详解1)
  2. 四大类按难度排序:本地→浏览器托管沙盒→托管推理 API→VPS;另加托管云、端侧两个进阶类。(→ 详解1)
  3. 本地=模型下到自己机器,私密/免费/离线,Ollama 两分钟起步;进阶到用代码调 localhost:11434、Mac mini 常驻、Cloudflare Tunnel 暴露、本地微调。(→ 详解2)
  4. 浏览器托管沙盒最省事但代价明确:不私密、有速率限制;Colab 白嫖 T4 GPU 却会话过期、数据回传 Google。(→ 详解3)
  5. 托管推理 API 让你不碰基础设施就能建应用——调别人托管的开源模型,五行代码,适合独立开发者与初创。(→ 详解4)
  6. VPS 是租来的远程虚拟机,能跑多模型多服务、隐私可控,适合医疗/法律/金融;可租 GPU、上容器,还能「本地跑模型 + VPS 托管应用」用 Tailscale 打通。(→ 详解5)
  7. 两个进阶类各有明确门槛:托管云主打自动扩缩(十万级用户才需要),端侧把模型塞进 App 由用户设备运行,目前仍很早期。(→ 详解6、详解7)

知识点详解

1. 为什么关心开源模型 + 四类总览 00:22

视频开门见山要讲「运行开源模型的每一种主流方式」,一次性介绍四大类、从易到难排序并各自 demo,再附两个更进阶的 bonus 类。作者强调「用开源模型来搭东西,似乎正是行业的走向」。

所谓 开源 AI 模型,指模型的部分或全部核心组件公开可得——通常包括模型架构、权重、训练/推理代码,以及允许使用、修改、再分发的许可证。

为什么值得关心?作者给三条理由:一是可控,你决定模型跑在哪(本地、端侧、私有云);二是可定制,能微调、改架构、加护栏;三也是最重要的——免费使用,除硬件与电费外基本零成本,规模化后长期成本远低于闭源。前提是如今开源模型「已经和闭源一样好」。

2. 本地运行(Local)01:49

本地运行就是把模型下载到自己机器上跑:数据全留在本机(私密)、除硬件与电费外免费、且离线可用。适合看重私密/免费/离线的人,也常作为「先本地搭好再对外托管」的第一步。

最省事的入门是装一个桌面模型管理 App——比如 Ollama:下载安装、挑一个模型下到本机、开聊,「两分钟搞定」。硬件门槛也没想象中高:任何还能用的电脑基本能跑 4B 小模型(小归小但意外地好用),作者的 MacBook Air(M4 / 16GB)能稳跑 4B、多数 8B——只要不同时干剪视频、直播这类重活。

想更进一步、不只是聊天而是让自己的代码/软件调用它,就进入中等难度:装好 Ollama、下好模型,然后让代码去访问 localhost:11434(Ollama 默认端口)。软件敲 11434 的门,Ollama 开门递上模型——OpenClaw、自建 agent 都这样接。

再往上有三条更硬的路:①很多人买 Mac mini 专门 24/7 常驻跑模型,原理和笔记本上跑完全一样,只是更强、不会因合盖或跑重活而断;②想让公网用户也能用你的应用,最简单是用 Cloudflare Tunnel 在软件上「戳个洞」连到公网(适合 demo,不建议生产);③最硬的一档是本地微调,得有 GPU 并借助 Unsloth 这类工具。

3. 浏览器 / 托管沙盒(Browser/Hosted Playgrounds)07:52

面向「没硬件、也懒得在本地折腾」的人:别人已经帮你下好、托管好模型,你只管开网页用。这是四类里最容易的,零安装零硬件,适合纯学习、实验、探索,低承诺、上手极快。

最简单是去 浏览器托管沙盒 类网站直接聊,比如 arena.ai、groq.com——挑模型、开聊,基本无需注册、大多免费,还能横向对比不同开源模型。缺点是功能有限、且不私密,别往里塞敏感内容。Hugging Face Spaces 同理,也能在浏览器里直接玩托管好的模型。

给教育场景的稍进阶做法是用 Google Colab:写成可逐行运行的 notebook 分享给学生,启用 GPU runtime 后能白嫖 Google 的免费 T4 GPU,pip install transformers 就能跑,甚至配 Unsloth 的 Colab 模板上传数据集做微调。

但「免费 GPU」有三重代价:①Colab 会话会过期,过期后没保存的东西(包括微调好的模型)全没;②完全不私密,你输入的一切数据都回给 Google——天下没有白租的 GPU;③有速率限制,忙时 GPU 又慢又抢不到,真想稳用得付费。

4. 托管推理 API(Managed Inference API)10:41

上一类是「用」别人托管的开源模型,这一类是「用别人托管的开源模型来搭东西」——软件、agent。适合独立开发者、初创和做个人项目的人:想快速上线、不碰基础设施、不自己托管模型。

工作流和用闭源 AI 一模一样,就是调 API key:去 托管推理 API 提供商(如 Groq、Together AI、Fireworks AI)注册,拿到 key,在代码里调 API——「字面意义上五行代码」。做好后用 Railway、Vercel、Hostinger、Heroku 之类一键部署即可。

作者补充:虽然也能把这个 API 塞进无代码工具随意切模型,但这一类最能受益于会写代码的人,因为你多半想搭定制化的东西。

5. VPS(虚拟专用服务器)12:01

VPS 自托管 里的 VPS,定义是「作为服务出售的虚拟机,在共享物理服务器上提供独立隔离的 CPU/RAM/存储」——相当于租下别人一台电脑而不必实际拥有它,一切自己管。一台服务器能跑多个模型、软件、服务。

适合开始认真做东西的人:需要隐私与数据控制(医疗、法律、金融尤其不该用别人托管的模型),或在带团队、要扩产品的人。这一类从中等难度起步,因为要真正用好 VPS 得会写代码。可从 Hetzner、Hostinger 等租,通常约 $5/月;SSH 进去(建条隧道访问这台虚拟机),就像在本机一样装 Ollama、下模型、开搭,很多 VPS 商还帮你搞定域名与上线部署。

两条更硬的支线:①多数 VPS 只带 CPU,要跑大模型/微调得有 GPU——可从 RunPod、Vast.ai 按小时租 GPU 再由应用调用;②想在一台 VPS 同时跑多模型多应用互不打架,就用 容器化部署(Docker),把每个应用打包进独立小环境同时运行。

最实用的一招是类一(本地)× 类四(VPS)混合:模型在本地机器(如 Mac mini)上跑保证数据安全,外围应用托管在 VPS 上对公网开放。用 Tailscale 打通本地与 VPS,便宜到只付 $5 的 VPS、无需租 GPU。

6. 托管云(Managed Cloud,进阶)15:18

第一个 bonus 类:把开源模型放上 托管云,由云负责全部基础设施并自动扩缩。关键词就是 scalability——只有当你真做出需要大规模扩容的东西时才该考虑。

适合初创与企业团队、合规要求重的行业,或应用面对不可预测的大流量(如十万级用户),又或你有个微调好的自定义模型要部署给别人用。这些工作流都属「难」到「非常难」,作者坦言大多数人不会走到这一步。

7. 端侧 / On-device/Edge(进阶)15:58

最后一个 bonus 类:端侧 AI 指把开源模型打包进应用内,让用户的设备直接运行模型和整个应用,最典型的是移动应用。作者判断这现在还小众,但预感不久会火——「你在这儿第一个听到的」。

目前仍很早期,做这类的多是大公司,独立开发者很少,例子有 iOS 上的 Apple Intelligence、Android 上的 Samsung 与 Gemini Nano。难点在于:模型得小到能打包并正确运行,同时还得给出你要的结果,相当 tricky。

想开发注重隐私、安全、离线的移动或桌面应用的人可关注这一类。至此四大类 + 两进阶讲完,难度覆盖从易到非常难。

可执行步骤

  • 装 Ollama,下一个 4B 或 8B 模型,先在本地聊起来(先确认自己机器内存够)。
  • 让自己的代码/agent 调用本地模型:指向 localhost:11434 跑通一次调用。
  • 去 arena.ai / groq.com 或 Hugging Face Spaces 横向对比几个开源模型(别输敏感内容)。
  • 想建应用又不想碰基础设施:在 Groq/Together AI/Fireworks AI 注册拿 API key,用几行代码调通,再用 Vercel/Railway 部署。
  • 要隐私 + 常驻:租一台约 $5/月 VPS,SSH 进去装 Ollama;需要同时跑多服务时上 Docker。
  • 想「本地跑模型 + 公网可用应用」:用 Tailscale 打通本地机器与 VPS。

关联

  • 2025-12-22-自托管AI实战-OpenWebUI加Ollama搭建私有大模型:互补——本片给的是「四类六法」的横向选型全景(该走哪条路),那篇把其中「VPS + Ollama 自托管」这一条路走到实操纵深(Open WebUI、RAG、Docker、API 端点)。先看本片定方向,再看那篇落地。
  • 2026-01-30-买Mac Mini前先用VPS自托管AI助手agent:冲突/更新——本片说很多人买 Mac mini 常驻跑模型,那篇主张「买 Mac Mini 前先用 VPS」。判定变量:若要 7×24 常驻、模型与数据必须留本地、且愿一次性投硬件→Mac mini;若只是试水、想省钱、要秒级扩配→先上 VPS。

术语

  • 开源 AI 模型(open-source AI model):架构/权重/代码/许可证部分或全部公开、可用可改可再分发的模型。
  • Ollama:桌面模型管理 App,下载并运行开源模型,默认端口 11434。
  • 4B / 8B 模型:参数量,B = 十亿;4B 属小模型,普通电脑可跑。
  • Cloudflare Tunnel:在本地软件上「戳洞」连公网让他人访问的方式,适合 demo。
  • Unsloth:本地/Colab 微调开源模型的工具,需 GPU。
  • Hugging Face Spaces:在浏览器直接试玩托管好开源模型的地方。
  • Google Colab / T4 GPU:可逐行运行并分享的 notebook,启用后可白嫖 Google 免费 T4 GPU。
  • 托管推理 API(Managed Inference API):Groq/Together AI/Fireworks AI 等替你托管开源模型、只需调 API key。
  • VPS(虚拟专用服务器):按月租的远程虚拟机,独立隔离资源,自己管理。
  • SSH:建隧道远程登录并操作服务器。
  • RunPod / Vast.ai:按小时租 GPU 的服务。
  • Docker / 容器:把应用打包进隔离小环境,便于一台机器同时跑多个。
  • Tailscale:打通本地机器与 VPS 的组网工具。
  • 托管云(Managed Cloud):云托管全部基础设施并自动扩缩。
  • 端侧 / On-device/Edge:模型打包进 App、由用户设备直接运行(如 Apple Intelligence、Gemini Nano)。

金句

“building with open-source models seems to be where the industry is headed now.” → 全片立论前提:开源不是折中方案而是行业走向,这决定了「学会怎么跑它」值不值得投入。00:19 “They’re not going to just rent you a GPU for free, right?” → 一句戳破 Colab「免费 GPU」的幻觉:代价是你的数据全回给 Google。09:53

立场与利益

本片核心是「如何运行开源模型」的通用方法论,与博主变现基本脱钩,给采信折扣时分三档:

  • 利益中性(按内容采信):四大类六种工作流、Ollama / VPS / Colab / 托管推理 API 的选型建议——她提到的工具(Ollama、Groq、Hetzner、Hostinger、RunPod、Tailscale)在 description 里均无 affiliate/ref 追踪链接,是可独立验证的通用做法。
  • 与利益反向(可信度最高):她主动泼冷水——浏览器沙盒/Colab「不私密、数据回传、有速率限制、会话过期」,端侧「现在很 tricky、大多数人不会碰」,托管云「大多数人走不到这步」。这些不利于把观众留在某条付费路径,反而更可信。
  • 与利益同向(需外部印证,已剥离):片中 WhisperFlow 语音输入整段为赞助(ref.wisprflow.ai/tinahuang + 码 TINAHUANG),description 另有自家 Lonely Octopus bootcamp / 365datascience 等导流;这些均与「怎么跑开源模型」无直接绑定,已在核心论点里剥离,不影响主张采信。

价值定位

  • 适合谁:被「跑开源模型要高端硬件、要会写代码」劝退的初学者,到想在本地/云之间选型的独立开发者。
  • 解决什么:给一张从易到难的部署选型地图——想私密离线走本地、想快速试玩走浏览器沙盒、想建应用又不碰基础设施走托管 API、要认真做且要隐私走 VPS,知道自己该走哪条路。
  • 认知 vs 实操:偏认知格局。每类都点到 demo 但不深入,真要落地某一条路需看专门教程。
  • 与 2025-12-22-自托管AI实战-OpenWebUI加Ollama搭建私有大模型 重叠,但本片独有的是「横向全景 + 四类六法的难度排序」这张选型地图(纵深实操归那篇)。

自检问题

  1. 用 Ollama 本地跑好模型后,想让自己的代码调用它,要访问哪个地址端口? 答案:localhost:11434(Ollama 默认端口);见详解2。03:38
  2. 浏览器托管沙盒 / Colab 这类「免费」方案最大的代价是什么? 答案:不私密——数据回传给托管方/Google,且有速率限制,Colab 会话还会过期丢失未保存成果;见详解3。09:37
  3. 想让开源模型数据留在本地、又要让公网用户能用你的应用,最省钱的组合是什么? 答案:模型本地跑 + 应用托管在约 $5/月的 VPS,用 Tailscale 打通,无需租 GPU;见详解5。14:39
  4. 什么样的人/场景才真该考虑「托管云」这一进阶类? 答案:真正需要自动扩缩、面对十万级不可预测流量,或要部署自定义微调模型给他人用的初创/企业;见详解6。15:28

关系图谱

反向链接