Infrathon 基准:万卡时实测智能体长时程 AI 基础设施优化
UW · hf · 2026-11-11
华盛顿大学等机构发布 Infrathon,一个面向真实世界、长时程 AI 基础设施优化的语言智能体基准,研究前沿智能体能否持续改进真实 AI 基础设施。
实验规模
- 6 个模型、150 次运行、每次 24 小时预算,总计超 10,000 GPU 小时
核心发现
- 模型排名随评估时长变化:短时评估会同时低估优化收益和误导模型相对表现;150 次运行中有 135 次在预算后半段仍持续改进
- 智能体可发现超越人类基线的方案:Claude Opus 5.5 将 KV-cache 压缩率从人类设计的 Quant-VideoGen 编解码器的 6.82% 提升到 19.86%
- 轨迹分析显示,阻碍持续改进的主要因素是违反任务约束、测试不可靠和过早宣布完成
框架与代码、Docker 环境已开源,可用于构建长时程任务、评测前沿智能体并挖掘优质基础设施方案。
「Infra」频道最新
- Shopify RoutingTrie:把元数据过滤前置到生成式检索解码,Hit@100 提升 28.6 个百分点 — _reachsumit · 2026-11-11
- 去掉目录拷贝:在 Apache Pinot 上直接跑混合搜索,2.77 亿商品向量+BM25 p50 仅 6.5-9ms — _reachsumit · 2026-11-11
- CoreWeave 营收暴增 168% 至 36.6 亿美元，净亏损却扩大 6 倍至 7.09 亿 — rohanpaul_ai · 2026-11-11
- NVIDIA 开源 NVKE 与 NVKR:GPU 集群托管 K8s 方案公开预览 — HowDevelop · 2026-11-11
- RecoGEM:生成式推荐生产级服务系统,千级 QPS 已上线九个月 — _reachsumit · 2026-11-11
- 本地 AI 日报：Mac Studio 跑 DeepSeek-V4.1-Flash 达 65.7 tok/s — AIFlow_ML · 2026-11-11