Evals 要看端到端而非局部
yunta_tsai · x · 2026-07-18
作者认为，很多 eval 只是在“隔靴搔痒”式地看问题；如果要真正解决问题，需要 端到端视角，否则容易把不该优化的东西过度优化。
他进一步指出，随着范式变化，eval 的标准也会持续变化；也就是说，评测不是静态模板，而是会跟着问题定义与系统形态一起演进。
「漫话AGI」频道最新
- 美中欧 AI 路线分化：美国押注 AGI 霸权，其余世界当公共品 — BubblyExtent1693 · 2026-10-27
- 实验猴荒：中国 3-5 万美元一只，繁育周期 4 年成药物临床前瓶颈 — zebird0 · 2026-10-27
- CJR 批评记者滥用「rogue」：别把 AI 写得像有了人性 — ShakeelHashim · 2026-10-27
- AI 致 PhD 申请邮件暴涨约 4 倍，不用 AI 写信反而更易突围 — AI4Code · 2026-10-27
- Weil 律所崩塌复盘：击垮 BigLaw 的不是商业模式，是信心 — jkubicki · 2026-10-27
- Transformer 论文八位作者全部离职，Google 白送竞争对手万亿价值 — signulll · 2026-10-27