普林斯顿教授指出流行模型性价比对比图误用 Pareto 前沿
普林斯顿大学教授 Arvind Narayanan 及其团队发文纠错,指出当前流行的「性能-价格 Pareto 前沿」模型对比图存在方法论错误:即便不考虑这些榜单被反复刷分的问题,Ember 和 GLM 也不应被画在前沿上。团队解释 Pareto 前沿应为凸包,因为可以通过 router 在 Sol 和 Gemini 等模型之间组合,以更低成本获得相当性能,因此仅凭单点对比得出「某模型最优」的结论并不成立,并呼吁社区别再画错模型对比图。
2026-09-28 ~ 2026-09-28 · 2 条相关
- 普林斯顿教授纠错:Ember 与 GLM 根本不在 Pareto 前沿上 — random_walker · 2026-09-28
- Princeton 团队重申:Pareto 前沿应是凸包,别再画错模型对比图 — random_walker · 2026-09-28