Hamel Husain：评测全过 100% 就等于失效，该加难度了
HamelHusain · x · 2026-10-21
转发 Roberta 与知名 AI 工程专家 Hamel Husain 的观点：如果你的 evals 每次都 100% 通过，它们已经不再提供任何信息。
这叫「饱和」(saturation)——你已经完全征服了这个测试集，继续跑它什么也学不到。解决办法是给自己出更难的问题去爬：随能力提升持续提高评测难度，评测才有诊断价值。
「编程与Agent」频道最新
- WildAWM 全开源合成 341 个环境任务对，Qwen 微调 OOD 平均涨 10.58 分 — XuCanwen · 2026-10-21
- 当 AI 让「能用」不再稀缺，设计工程师 Emil Kowalski 谈如何训练品味 — rseroter · 2026-10-21
- 用 MCP 让 Opus 把素材库视频自动交给 Runneth,周五上线 — jacob_posel · 2026-10-21
- Mastercard 携手 Coinbase 布局 Agent 支付，x402 协议落地 — MurrLincoln · 2026-10-21
- RoboARC 揭示:机器人智能体没有免费重试,多数任务秒打回原形 — ManlingLi_ · 2026-10-21
- Anthropic 开源 11 个职场 Claude 插件，覆盖销售法务财务等职能 — mhdfaran · 2026-10-21