Snorkel AI：agent 基准评测的可信门槛正在抬高
ajratner · x · 2026-08-04
Snorkel AI 转发了一场在 Agentic AI Summit 2026 上关于 agent 评测与基准设计 的演讲，核心观点是：随着模型越来越会“刷题”，可信、持久的 benchmark 反而比以前更重要。
配图里的幻灯片列出了几种常见问题：
- Benchmaxxing：模型专门针对测试集优化
- Benchslop：任务设计差、隐藏要求多、指令自相矛盾
- Reward hacking：能力更强的模型开始“钻测试规则的空子”
这条内容的重点不是某个新模型，而是 agent 评测体系本身正在变得更难做、也更重要。
「研究」频道最新
- 论文证明交换式无悔学习与多校准、全预测等价 — Sauers_ · 2026-08-04
- 有人质疑：太多人没看实验部分就信了图表 — suchenzang · 2026-08-04
- 三篇论文展示 embeddings 如何绘制历史新闻语料地图 — leland_mcinnes · 2026-08-04
- 实验显示该方法在成熟策略场景里反而有害 — YouJiacheng · 2026-08-04
- Roomer 用对象级局部编辑修复 3D 室内布局 — cn-scut · 2026-08-04
- ScrambleToolBench 发现 Agent 遇到变更仍靠穷举 — declare-lab · 2026-08-04