1368 起真实 AI 事故拆解：部署管控薄弱才是最大风险源
AI Engineer · youtube · 2026-10-22
New York Life 的 Vishal Srivastava 与 Tanmay Sah 分析了公开 AI 事故库中的 1,368 起真实失败案例，反推 AI 系统该如何做评测（evals）。
核心发现与框架：
- 将失败归入三大维度——技术强度、部署管控、业务影响，再细分为 13 个子维度，可覆盖约 98% 的事故。
- 与实际损害关联最紧的不是模型能力，而是部署管控薄弱（如人工复核与监控缺失）。
- 展示了如何按风险高低（materiality）对用例排序，把风险拆成四部分，决定优先测什么。
评测方法论：
- 评测器本身也需要被检验——「评测器可信吗」是常被忽略的一环。
- 提出对抗确认偏误的「失败驱动评测」思路与 build–break–fix 循环：目标是证明系统是错的，而不是证明它是对的。
- 用一个真实案例收尾：某航空公司聊天bot 给客户回复了错误的退款政策，演示该方法如何落地。
「编程与Agent」频道最新
- 开源工具 Scrawl 爆火：录屏圈画说话，直接把问题丢给 AI agent — aronchick · 2026-10-22
- Agent 权限灰区:合法动作也该拦?拉谁最后防线引热议 — Innowise_ · 2026-10-22
- 组合三个工具做 PR 预审:30 秒内出结果,成本 1 美分 — please-dont-deploy · 2026-10-22
- Databricks 将推托管记忆服务，开发者怎么管 agent 记忆 — WorldOfUmbro · 2026-10-22
- Longman 朗文词典 MCP Server 上线，让 Agent 查权威释义 — modelcontextprotocol · 2026-10-22
- 法学教授实测律所 Copilot：不好创意反而是律所需要的特点 — jkubicki · 2026-10-22