BenchFlow 演讲：我们对 eval 的构建方式还不够雄心勃勃
MeganRisdal · x · 2026-11-05
BenchFlow 的 Xiangyi Li 在 Kaggle 主办的 Bench Summit 上分享了题为 Superhuman Evals for Superhuman Intelligence 的演讲，核心论点是：我们在构建评测（evals）时野心不够。
演讲围绕三个案例研究展开：
- 可验证性（verifiability）：如何设计能可靠判定模型输出的评测；
- 专家时间（expert hours）：高质量评测背后专家人时的投入与效率；
- 捕捉人类判断：如何把人类专家的判断结构化地纳入评测体系。
作者在推文串中附上了完整 slides。
「编程与Agent」频道最新
- 开发者质疑多Agent堆量：20个Agent不会魔法式提升性能 — fkasummer · 2026-11-05
- 用 GPT-image-2.6 批量做动态表情包：作者公开完整提示词模板 — op7418 · 2026-11-05
- AI Agent 接管 K8s 告警：降噪、降 MTTR、自动处理低风险事故 — _jaydeepkarale · 2026-11-05
- Semiconductor AI 负责人判断：100% RTL 代码将由 Agent 生成 — appenz · 2026-11-05
- 开发者称 Replit Agent 三个月取代全部 IDE 与编码工具 — amasad · 2026-11-05
- Google DeepMind 用 Antigravity 把数天药物设计流程压缩到 1 小时 — Gaiden206 · 2026-11-05