LlamaIndex CEO：对抗刷榜不是弃用基准，而是要更多更稳的基准
ajratner · x · 2026-09-08
LlamaIndex CEO Jerry Liu 在长文中给出关于 benchmark 的思维模型：
- 基准是高维能力空间中的「点测量」实验；基准天然有引力——一旦发布，其周边能力会因优化循环而提升。
- 坏结局是能力面极端尖锐化（overfitting / benchmaxxing）：模型在某个工具上 demo 惊艳、通用场景拉胯。
- 好结局仍是参差不齐的，但相对平滑。
- 提升平滑度靠两点：让单个基准更鲁棒，以及持续产出更多、分布覆盖更广的基准。
他援引 Goodhart 定律：「任何成为目标的测量都会失效」——其本意不是停止测量，而是避免过于简单、易被 gaming 的单一指标。结论：基准要的是更多而非更少，以更大的鲁棒性、频率和分布覆盖来平滑 AI 的能力面。
所属事件:LlamaIndex CEO 论基准之道：持续维护胜过弃用(2 条相关)→
「研究」频道最新
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 数据课程与学习率调度应协同设计：数学数据放置策略随 LR 翻转 — CatAstro_Piyush · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27