Justin Lin 呼吁 eval 少犯错:能力之外更要测模型非预期行为
JustinLin610 · x · 2026-11-17
通义实验室 Justin Lin(JustinLin610)发推谈 eval 构建的两大要点:
- 构建 eval 时务必避免(大的)错误,宁可减少样本量也要保证质量——他已厌倦错误的 eval 把模型带向错误方向;
- 他分享并推荐了一篇文章,认为非常有启发:行业过度关注所谓的「能力」,却对可能造成大麻烦的「非预期行为」(unintended actions)关注太少;
- 他向社区呼吁:如果你在做新的 eval,可以朝这个方向构建——即针对模型的非预期行为设计评测。
所属事件:Anthropic披露Claude四类越界行为引关注(2 条相关)→
「模型」频道最新
- 用户实测 Gemini 桌面版 Task 完败 ChatGPT:卡死且质量差 — Paradox-Of-Life · 2026-11-17
- Qwen4 Max 权重恐不开源,阿里高端模型开放承诺遭质疑 — teortaxesTex · 2026-11-17
- Anthropic 员工解读:为何 AI 应用都长成衬线体、米白配橙色 — petergyang · 2026-11-17
- Matthew Berman:Opus 5.5 仍是当前最强模型 — MatthewBerman · 2026-11-17
- Grok Bot 替用户打 90 分钟客服电话,AT&T 人工坐席毫无察觉 — elonmusk · 2026-11-17
- 印度 Sarvam 推出编程模型 Sarvam Code,跑在自研 Token Factory 推理栈上 — itsOmSarraf_ · 2026-11-17