IBM 工程师开课教 Agent 可靠性:从 trace 写 eval 再搭 harness
TejasKumar_ · x · 2026-11-20
IBM AI 工程师、O'Reilly 作者 Tejas Kumar 将于 1 月 13-27 日在 Maven 开设为期三周的直播课「AI Reliability: Evals and Harnesses for AI Agents You Can Trust」,定价 $1,999。
课程针对的痛点:多数团队的 agent 在 demo 里正常、上线后悄悄失败,没人说得出失败率。三周安排:
- 第 1 周:读真实 trace,给每类失败命名,写成代码检查项和 LLM judge,并把 judge 对照自建标注校验;
- 第 2 周:从空循环搭 harness——工具、上下文管理、guardrails、重试与 verify 步骤,让 agent 诚实失败而非谎报成功;
- 第 3 周:学员带着自己的 agent 代码现场调试。
结课产出是适配任意模型的自有 evals 与 harness。推广链接含 $500 折扣。
「编程与Agent」频道最新
- 2026 年的公司形态:一个文件夹装下所有部门 — mdancho84 · 2026-11-20
- Google AI Studio 支持零代码生成安卓应用,可私密装机不上架 — TawohAwa · 2026-11-20
- Agent 开发最大痛点:没有任何任务管理系统能支撑 10-100 并发任务 — bigblueboo · 2026-11-20
- SelfGraph 开源:文本一键抽取带版本的知识图谱,支持多种图数据库 — JeremyCMorgan · 2026-11-20
- 改一处坏一处:研究者详述 AI 接手复杂免疫学模型的难点 — iskander · 2026-11-20
- 开源 SoduWork:用验收标准+独立 AI 复审+人工把关验证 agent 产出 — soloboy4567 · 2026-11-20