YT 学习笔记

Andrew 的 Agentic AI 课程 30 分钟精讲：三大基石与四种设计模式

19分钟阅读下载 MD

封面

Tina Huang · 30:23 · 发布 2025-11-08 · 11.5万次观看(截至抓取) · 观看原视频

🔥 观众最高回放 17:19 — 用发票日期抽取 agent 的真实案例,讲怎么靠人工抽查十几个样本发现系统性错误、反推出该建哪个 eval。

主旨

把 DeepLearning.AI 的 8 小时《Agentic AI》课程(Andrew 主讲)压缩成三大基石与四种设计模式的认知地图。

核心论点

  1. 判断 agentic AI 不看”是不是 agent”这种二元问题,而看自主度落在哪个区间——步骤越预定越可控,越放权给 LLM 自选工具越有创造性也越难预判。(→ 详解1)
  2. 任何 agentic 系统都能拆成模型、工具、评估三个基石,评估常被忽视,却是唯一能客观证明系统在变好而非”感觉在变好”的一环。(→ 详解2)
  3. Reflection(反思)是最简单也最直接见效的设计模式:让 agent 对自己的初稿二次审视再改进,几乎不增加复杂度就能明显提质。(→ 详解3)
  4. Tool Use 的关键不是给不给工具,而是有没有讲清楚;MCP 把”如何给 agent 定义工具”这件事标准化。(→ 详解4)
  5. 评估要先分清”客观/主观”和”有无逐例真值”两根轴,才知道该写死代码判断还是让 LLM 当裁判。(→ 详解5)
  6. Planning(规划)模式牺牲可预测性换灵活性:不预设执行路径,让 LLM 现场想计划再逐步执行。(→ 详解6)
  7. Multi-Agent 系统的收益逻辑跟公司分工一样:拆成各司其职的子 agent 协作,比一个 agent 包打天下效果更好。(→ 详解7)

知识点详解

1. 定义与自主度光谱 01:26

视频开篇给出 agentic AI workflow 的定义:LLM 应用执行多个步骤完成一个任务的过程。作者特意强调不用纠结”这算不算 agent”这种二元判断——只要涉及多步骤就算 agentic AI,重点是它落在自主度光谱的哪个位置。

举例:写一篇关于茶道的文章。低自主度做法是人为固定步骤(先列大纲→判断要不要查资料→写初稿→修订→定稿);高自主度做法是只给 LLM 目标和一组工具(网页搜索、新闻搜索、论文检索),让它自己决定用哪个工具、怎么组织信息、要不要请人复核,直到它自己判断满意为止。

两者输入输出相同,但控制权和可预测性完全不同:低自主度步骤清晰、可控性强;高自主度可能产出超出预期的惊喜结果,但也可能跑偏。作者的结论很直接——不管选哪一档,把 LLM 包在多步骤的 agentic workflow 里,效果一定优于直接单次调用模型。

2. 三大基石:模型、工具、评估 04:45

Andrew 把 agentic AI 系统的构建拆成三个基石,即Agentic AI 三构件框架:模型(任何 AI 模型,不限于 LLM,也包括图像/音频等多模态模型)、工具(让 agent 能做模型本身做不到的事,比如查邮箱、调数据库、执行代码)。

用客服邮件场景举例:收到”订错货”投诉后,提取关键信息(订单号、错发商品、时间要求)LLM 自己就能做;但去订单数据库核实记录需要”查询”工具,发出回复邮件需要”发邮件”工具——三个步骤对应三种不同的模型+工具组合。

但只有模型和工具还不够:如果 agent 的回复里踩雷提了竞品名字、或者干脆敷衍甩个退款了事,就需要第三个基石——评估,量化”agent 到底做得好不好”。作者给的例子是写代码统计回复里出现竞品名字的次数,把”不该说什么”变成一个可以盯着降到零的客观指标。

3. Reflection(反思)模式 12:25

第二个模块讲的是四种设计模式里最简单的一个:Reflection 反思模式。类比很直接——让一个人写邮件,他可能因为分心写得潦草;但只要多说一句”回头看看能不能改进”,结果通常会好很多,AI 也是一样。

具体做法是:先让 LLM 写初稿,再专门追加一步”反思并改进这份初稿”,拿到第二版结果。步骤简单但效果明显,课程也配了可运行的示例代码。

作者特别提醒:这个模式(以及后面的 Tool Use)完全可以用无代码工具实现,课程只是用代码演示,不代表非得会写代码才能落地。

4. Tool Use 与 MCP 15:59

第二个设计模式是 Tool Use 工具使用模式。作者坦言这部分她一开始有点困惑,因为”工具”在讲三大基石时已经出现过;但 Andrew 把它单独列成一个设计模式,是想强调工具用得好能大幅提升 agent 表现。

关键不是”给不给工具”,而是”有没有讲清楚”。举例:一个日程助理 agent,得显式给它 make appointment / check calendar / delete appointment 三个工具,并在 system prompt 里告诉它这些工具分别是干嘛的——不然 agent 面对工具本身也一头雾水。

定义工具最简单的方式是直接写函数、通过某个框架(课程用的是 AI Suite)接给 agent;另一条路是 MCP——Anthropic 开发的协议,标准化”如何给 agent 定义工具”,让接入不同工具不用为每个工具单独写胶水代码。

5. 评估的 2×2 矩阵 19:25

视频用发票抽取 agent 的真实案例(呼应热力行,观众回看最多的一段)引出”怎么找到该做的 eval”:先跑 10-20 个真实样本记录结果,而不是先拍脑袋想 eval。作者发现 agent 老是把发票日期和到期日搞混,才反推出该建一个”日期抽取”eval。

Andrew 把 eval 分成两根轴,合成 Eval 2×2 矩阵。第一根轴是客观 vs 主观:抽取的日期要么等于要么不等于真实日期(客观,能用代码判);研究 agent 写的 essay 好不好很难用代码判(主观,需要 LLM 当裁判去数关键词覆盖率)。

第二根轴是有没有”逐例真值”(per-example ground truth):发票日期这类每个样本答案都不同的叫有逐例真值;“营销文案长度必须小于 10 个词”这种全场景统一标准的叫没有逐例真值。两根轴交叉出四类评估,决定该写死代码判断还是上 LLM-as-judge。

作者给的实操建议很朴素:先 quick and dirty 建几个 eval 就开始跑,多找不同类型的例子覆盖各种错误,然后专挑”agent 表现明显不如人”的地方优先改进。

6. Planning(规划)模式 25:27

模块五进入更实验性、更自主的两种模式,第一个是 Planning 规划模式。用客服查库存的例子:“有没有 100 美元以下的圆框墨镜库存”这种问题没有固定查询路径,每次都得现场想怎么查。

规划模式让 LLM 先根据已有工具(查商品描述、查库存、查价格)自己列出解题计划,比如”第一步查圆框款式→第二步筛有库存的→第三步筛价格低于 100”,再照着计划逐步执行。

好处是灵活,能处理事先没想到的问题组合;代价是计划本身不是预先定好的,执行前没法预判结果长什么样,调试和预期管理都更难。这跟前面 Reflection/Tool Use”步骤明确、可控性强”正好是两个极端。

7. Multi-Agent(多智能体)协作 27:00

模块五的第二个模式是 Multi-Agent 设计模式。类比公司分工:一个人包办所有工作容易被压垮,拆成专精不同环节的人协作,反而整体产出更好。

举例:一个营销团队 agentic 系统,把单一 agent 拆成研究、设计、撰稿三个子 agent。研究 agent 先摸清墨镜的流行趋势和竞品打法,传给设计 agent 出配图方案,再传给撰稿 agent 汇总写成最终报告。

作者提到这块课程讲得比较浅,建议想深入的去看她自己关于 multi-agent 的另一条视频,或读 Anthropic 写的相关文章(链接见简介)。

可执行步骤

  • 给自己的 agentic workflow 项目画出”步骤序列”图,判断每一步该由 LLM 直接做,还是需要外接工具
  • 对已有 agent 至少设计一个客观 eval(哪怕只是简单的字段匹配),跑 10-20 个真实样本记录结果
  • 用”客观/主观 × 有无逐例真值”四象限盘点现有 workflow 该用代码判定还是 LLM-as-judge
  • 盘点现有 workflow 的每一步:哪些该保持强控制(reflection/tool use),哪些可以放权给 planning/multi-agent

关联

  • Nick Saraev·Agent 五要素(PTMRO) — 互补 — 两门独立课程都把 tool use/reflection/planning 列为 agent 质量的核心杠杆(独立信源印证同一结论),但覆盖面互补:PTMRO 多出 memory、orchestration 两层本片未提;本片则多出 evaluations 维度与”自主度光谱”框架,PTMRO 没有对应说法。

一手来源与延伸

术语

  • AI Suite(课程代码示例里用来给 agent 接工具的框架,非通用标准)
  • LM as judge(用另一个 LLM 给主观产出打分的评估手段,替代人工逐条评判)
  • ground truth(用于比对 agent 输出对错的基准答案/真值)
  • per-example ground truth(逐例真值:每个输入样本各自有唯一正确答案,区别于统一标准的通用真值)

金句

“If you wrap a LM, a model in an agentic workflow, it is going to be much better than just calling it directly. This is a fact.” → 把模型包进 agentic workflow 一定优于裸调用,作者少见地用”这是事实”这种斩钉截铁的说法。

“Look for places where the performance of the agentic system is worse than a humans. These are the best areas for improvement.” → 给评估工作指了具体方向:盯着人机表现差距找,而不是漫无目的地列 eval 清单。

立场与利益

meta 简介里带 HubSpot 的推广跟踪链接(clickhubspot.com/23bc50),口播里也明确说”这段视频由 HubSpot Media 赞助”;另外反复引流到自己的 lonelyoctopus.com AI Agent Bootcamp 候补名单。

  • 与利益同向(待印证):作者对课程的两点批评——“偏理论、没讲部署”和”assignment 全是代码、易让人误以为必须会写才行”——恰好精准对应她自己训练营强调的”覆盖部署、支持无代码”卖点,采信前需要独立信源印证这两点批评是否属实公允。
  • 利益中性:三大基石、四种设计模式、eval 2×2 矩阵的转述是对课程内容的客观复述,与她自己的产品无直接利益关联,可按内容本身采信。
  • 与利益反向(可信度最高):她在明确推销自己训练营和 HubSpot 资源的同时,仍正面评价”这门课整体真的不错”、“eval 这部分讲得比任何地方都深”,没有借批评贬低对方课程来抬高自己产品。

价值定位

适合已经了解 LLM 基础调用、但还没系统学过”怎么把多个步骤/工具/评估串成一个 agent”的人;不适合完全没碰过 LLM API 的人——视频默认你懂基本概念,不是从零讲起。

价值在于把 DeepLearning.AI 这门 8 小时课的框架(三构件 + 四模式 + eval 矩阵)压缩成一张认知地图,省下自己啃课的时间,但不能替代真正做 assignment、写代码练手。

认知 vs 实操:纯认知层——帮你搭出 agentic AI 的整体框架和词汇表,不含可直接照抄的代码或配置,想要实操细节仍需回原课程或链接的 assignment。

与 Nick Saraev·Agent 五要素 重叠时:两者都讲 planning/tool use/reflection,但本片独有系统性的 evaluations 方法论(2×2 矩阵)与自主度光谱这一判断维度,Nick 的课完全没有覆盖评估这一环。

自检问题

  1. 视频反复强调”别纠结是不是 agent”这种二元判断,那该看什么? 答案:看落在自主度光谱的哪个位置——步骤越预定、越可控就越偏低自主度;工具越自选、结果越有创造性(但也越难预判)就越偏高自主度。(→ 知识点1) 01:26
  2. Andrew 的三构件框架里,为什么”评估”常被忽视却最关键? 答案:模型和工具能让 agent”能做事”,但没有评估就没法客观知道 agent 到底做得好不好、有没有在变好,只能靠感觉;评估把”感觉在改进”变成”可以量化验证”。(→ 知识点2) 04:45
  3. 评估的 2×2 矩阵是哪两根轴?各自举一个例子。 答案:第一根轴是客观/主观(发票日期抽取对错分明是客观,研究 essay 质量高低是主观);第二根轴是有无逐例真值(每个样本答案不同的发票日期有逐例真值,营销文案统一”小于 10 个词”的标准没有逐例真值)。(→ 知识点5) 19:25
  4. Reflection 和 Planning 两种模式最本质的区别是什么? 答案:Reflection 的步骤是预先定好的(先写初稿→反思→改进),可控性强、结果好预判;Planning 是让 LLM 现场生成计划再执行,没有预定路径,更灵活但更难预判结果和排查问题。(→ 知识点3、6) 25:27
  5. 作者对这门课的两个主要批评是什么? 答案:一是偏研究/理论视角,没怎么讲部署上线、真正让用户用起来的实操过程;二是课程 assignment 全是基于代码的,容易让人误以为必须会写代码才能做 agentic AI,实际上无代码也能实现同样的设计模式。(→ 立场与利益) 29:12

关系图谱

反向链接