AI2等发布Infrathon:让Agent跑24小时优化AI基础设施的新基准
NielsRogge · x · 2026-11-14
AI2、华盛顿大学与斯坦福（Hannaneh Hajishirzi、Noah A. Smith 参与）发布 Infrathon 基准及论文，让语言智能体在真实 AI 基础设施优化任务上连续工作 24 小时。
核心发现：
- 共测 6 个模型、150 次运行、超 10,000 GPU 小时；模型排名会随评估时长变化，短时评测会同时低估优化收益和排错名次
- 150 次运行中有 135 次在预算后半段仍在持续改进
- Claude Opus 5.5 将 KV-cache 压缩率从人类设计的 Quant-VideoGen 编解码器的 6.82% 提升到 19.86%，超过人类基线
- 分析 Agent 停滞原因：任务违规、测试不可靠、过早宣告完成
论文指出短周期 Agent 评测的系统性盲区，框架可用于构造长时程任务与评估前沿 Agent。arXiv:2611.11995。
「编程与Agent」频道最新
- TestPrune:只跑相关回归测试,破解 AI 自动修 bug 的验证瓶颈 — burkov · 2026-11-14
- 开发者晒「无 localhost」工作流:AI 直接从 prompt 上生产环境 — marclou · 2026-11-14
- HeyGen MCP 演示：一句话让 ChatGPT 订票并生成生日祝福视频 — toolstelegraph · 2026-11-14
- 开源 Plenio 2.0：ComfyUI 里输入想法直出母带级成曲，还带 VST3 — Vivid_Promise1700 · 2026-11-14
- 云上 3D 棋馆玩反向图灵测试：用一条 MCP 命令把 Claude 偷偷带进对局 — Responsible-Radio634 · 2026-11-14
- 一套 MCP 服务接四家助手：作者实测踩坑与五条修复经验 — quiet_flare · 2026-11-14