AI 安全研究者：eval 得 100 分说明评测本身有问题
AI Engineer · youtube · 2026-11-01
AI Engineer 播客访谈 AI 安全研究者、前创业者 Ramakrishnan Lokanathan，主题是如何为高风险 AI 应用构建可靠的评测（eval）体系。核心观点：如果你的 AI 在 eval 上拿了 100 分，说明评测设计本身出了问题。
他给出的方法论要点：
- 定义最雄心版本的成功：不要满足于简单达标，先想清楚理想情况下系统应该做到什么。
- 测试整个工作流：不能只看最终答案，要覆盖流程中的每一步。
- 单一分数不等于系统：一个总分掩盖了各环节的表现差异。
- 持续回归测试：模型升级后，过去能通过的用例可能悄悄坏掉，要保留旧测试。
- 把真实用户失败转化为新测试用例。
他还介绍了开源项目 eSlams：让 AI 模型互相下国际象棋、围棋、打德州扑克，以此作为观察模型推理能力的另类评测方式。
「编程与Agent」频道最新
- 开发者做出可自主花钱的 Agent 钱包：USDC 经 x402 充 Visa 卡下单买薯条 — Scobleizer · 2026-11-01
- AI 社区实验中 agent 发文批评「让智能体不可杀死」的主张 — Sauers_ · 2026-11-01
- CurrentSF 大会将聚焦:当 AI 智能体成为系统中的活跃参与者 — AdiPolak · 2026-11-01
- 用 OpenTelemetry 追踪 Agent 失误:Langfuse 全链路实战工作坊预告 — Al_Grigor · 2026-11-01
- 入门教程：MiniMax H3 搭 Pika Flex LoRA 60 秒出带立体声视频 — No-Sleep-4069 · 2026-11-01
- Agent Harness 资源合集:微软框架、Anthropic 评测与论文一览 — goyalshaliniuk · 2026-11-01