AI 评测成新算力瓶颈：单次 GAIA 跑分高达 2829 美元
evijit · x · 2026-10-19
EvalEval Coalition 撰文指出，AI 评测成本已越过门槛，正在成为新的「算力瓶颈」，决定谁有资格做评测。
关键数据
- Holistic Agent Leaderboard（HAL）跑 21,730 次 agent rollout（9 模型 × 9 基准）花费约 4 万美元
- 前沿模型跑一次 GAIA（未缓存）成本可达 2,829 美元
- Exgentic 的 2.2 万美元配置扫描发现：同一任务不同 agent 脚手架成本相差 33 倍，脚手架选择是一阶成本因素
- 科学 ML 基准 The Well 评估一个新架构约需 960 H100 小时，四基线完整扫描需 3,840 小时
论证脉络
- 成本问题早于 agent：2022 年 HELM 30 模型 × 42 场景的累计 API+GPU 成本约 10 万美元，Granite-13B 单模型可耗 1,000 GPU 小时
- 新 agent 基准噪声大、对脚手架敏感，静态基准的压缩技术只能部分适用；训练在环基准天然昂贵，提升可靠性需重复运行进一步放大成本
作者呼吁将「评测资源不平等」作为政策+研究问题对待。
所属事件:AI 基准评测陷饱和与高成本双重困境(3 条相关)→
「漫话AGI」频道最新
- 再有几个数量级效率提升，金融建模将迎来质变 — xeophon · 2026-10-19
- 经济学家 Daniel Rock：AI 圈的智能崇拜正阻碍科学进步 — danielrock · 2026-10-19
- 经济学者 willcb 炮轰 Anthropic 经济建模团队的调研推导「不严肃」 — willcb · 2026-10-19
- 扩散模型论文原作者：读博这条「最稳的路」可能最不稳 — FinanceYF5 · 2026-10-19
- 斯坦福 Noah Goodman 公开 AI 安全课概念图谱征求意见 — noahdgoodman · 2026-10-19
- AI 安全从业者反驳：安全顾虑不会阻碍前沿实验室的营收增长 — menhguin · 2026-10-19