Princeton 团队重申:Pareto 前沿应是凸包,别再画错模型对比图
random_walker · x · 2026-09-28
Arvind Narayanan 团队指出流行模型对比图在误用 Pareto 前沿概念:Ember 和 GLM 并不在前沿上,因为可以用 router 在 Sol 和 Gemini 之间随机切换,命中连接两点的弦上的任意成本-精度组合——增加模型只会扩大曲线下面积,不应使其收缩。
他们早在两年前的论文《AI Agents That Matter》(arXiv:2407.01502)就提出:Pareto 前沿应取凸包,且该文是最早呼吁以精度+成本的 Pareto 曲线取代只报 accuracy 的表格的论文之一。论文核心观点:
- 只看 accuracy 导致 SOTA agent 过度复杂且成本高昂,社区对精度提升来源得出错误结论
- 应联合优化精度与成本,论文实现了一种优化方法,可大幅降本而保持精度
- 模型开发者与下游开发者的评测需求被混为一谈
- 许多 agent benchmark 缺乏合格 holdout 集,agent 靠走捷径过拟合
- 评测缺乏标准化,可复现性普遍缺失
所属事件:普林斯顿教授指出流行模型性价比对比图误用 Pareto 前沿(2 条相关)→
「编程与Agent」频道最新
- McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准 — McGill-NLP · 2026-11-16
- Continual-ARC:终身任务流测智能体技能习得,多数 harness 不敌简单缓存 — unifyai · 2026-11-16
- Filmworkbench v0.1.2:一条 prompt 让 LLM 自动拍出 3 分钟短片 — Eastern-Ad9515 · 2026-11-16
- 分类路由别再让 LLM 生成 JSON:PowerShell 老兵用决策模型一行搞定 — dfinke · 2026-11-16
- llama.cpp 用 HF Buckets 与 HF Jobs 重构 CI,应对日均 35 个 PR 的压力 — ggerganov · 2026-11-16
- 用决策日志取代每周 30 分钟站会:agent 每次运行前必读 — Humaux · 2026-11-16