Φ-Bench 发布：LLM 能否优化自身基础设施？

青稞AI · wechat · 2026-08-24

Φ-Bench (Frontier AI Infrastructure Benchmark) 是一个新的基准测试，旨在评估大语言模型（LLM）进行基础设施工程（如训练、推理、系统优化）的能力，而不仅仅是写代码或单个 Kernel 优化。

核心内容：

任务设计：从真实系统论文和开源仓库中构建了 85 个高难度任务，分为三类：
Kernel Function Completion (KFC)：单个算子的实现与优化。
Long-Horizon Implementation (LHI)：理解大型代码库并进行多文件修改的长周期开发。
End-to-End Optimization (E2EO)：开放式系统级性能优化，需自主分析瓶颈并迭代。
评测结果：Claude Opus 5 总分最高（36.53），其次是 Kimi K3（28.12）和 Qwen 3.8 Max（27.73）。没有任何模型能在所有 Infra 领域保持领先，尤其在涉及底层硬件机制的任务上表现普遍较差。
关键发现：
真正的 Infra 优化需要持续实验和纠错，而非一次性代码生成。高分模型（如 Claude Opus 5）能通过反馈持续改进。
任务开放度越高（LHI/E2EO），对模型工程能力的挑战越大，当前模型在理解大型代码库方面仍显不足。
优秀的 Infra 模型具备“谋定而后动”、“实验求新知”、“谨慎解释结果”的特质。
意义：探索了 AI 递归自我改进（RSI）向基础设施层延伸的可能性，即 AI 参与构建支撑自身运行的下一代算力系统。

「Infra」频道最新