评测该看日常任务成本

evijit · x · 2026-07-18

转发观点认为，现有前沿 leaderboard 过度聚焦生物、网络安全、量子等少数高难任务，但大多数人的 token 其实花在邮件分拣、PR triage、数据抽取等“日常已部分被解决”的场景。

因此，模型评测和定价沟通应更多围绕这些高频任务建立 leaderboard，在给定准确率阈值下比较成本，帮助用户判断是否可以信赖更便宜的模型。原帖还提到，许多 SWE 日常任务已经被不少模型解决，真正需要比较的可能是“多数人每天都在用”的能力与价格。