智能体评测还在打地鼠阶段
maksym_andr · x · 2026-07-13
作者提到，他们在做 benchmarks / evals 时，当前主要还是在玩一种临时性的“打地鼠”模式：发现一个问题就补一个测试或规则。
他认为这在当前能力水平下还算可行，但如果智能体变得更强，这种做法就会不够用，需要更系统的评测与约束设计。
「编程与Agent」频道最新
- theo 公开个人 Claude skills 栈，Garry Tan 喊话「公布你的技术栈」 — ycombinator · 2026-10-26
- Hugging Face 六个月 Training Agents 系列收官，全部录像与代码开源 — SergioPaniego · 2026-10-26
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26