Infrathon 基准发布:Claude Opus 5.5 将 KV-cache 压缩提升近 3 倍
RulinShao · x · 2026-11-17
华盛顿大学联合 Allen AI、Stanford、RadixArk 等机构发布 Infrathon,一个评测 LLM agent 在真实 AI 基础设施优化任务上长程自主能力的基准。
- 任务规模:25 个真实世界开放式优化任务,覆盖算子、模块和端到端训练/推理工作流,每次运行预算 12–24 小时,共 150 次 agent 运行、消耗 1 万+ GPU 小时。
- 评测机制:agent 在自己的容器中修改系统并跑公开测试;Controller 在消耗 GPU 前审查代码合规性;Judge 在独立容器用 held-out 工作负载验证正确性与保真度并打分。
- 结果:Claude Opus 5.5 在全部六个参评模型中领先,平均 rank score 91.2,17/25 任务居首。一个亮眼案例是把平均 KV-cache 压缩率从 6.82× 提升到 19.86×,同时改善视频质量。
- 意义:考验 agent 反复实现、profiling、测试的工程闭环能力,需保持正确性、从失败实验恢复并在早期停滞时持续搜索——现有评测大多只覆盖短程或单一组件。
「Infra」频道最新
- Topos Bio 携手 NVIDIA cuPotential,分子动力学吞吐最高提升 3.6 倍 — AllThingsApx · 2026-11-17
- PyTorch Day Japan 2026 定档 12 月 10 日东京,聚焦端侧部署与内核生态 — PyTorch · 2026-11-17
- 美 BIS 新规收紧豁免:中国芯片设计商须经其审批,台积电三星将严查客户 — terryyuezhuo · 2026-11-17
- Baseten 在 Vera Rubin 上跑 DeepSeek v4.1 Flash 达每秒约 2500 token — baseten · 2026-11-17
- 微软宕机波及航空银行,或为全球网络安全事件早期 — mallow610 · 2026-11-17
- 德州数据中心审批冻结迎来首考:Core Scientific 13亿美元项目待决 — edgarpavlovsky · 2026-11-17