ForgeSystem: An Architecture for Demand-Specific Artefact Production with AI Agents
Qingfeng He, Zhui Zhu, Yaojian Chen, Shangzhan Li, Leshan Li, Tingjian Zhang, Qian Xie, Yuxuan Li, Xu Han, Zhiyuan Liu
cs.SE
2026-11-09
面壁智能与清华提出 ForgeSystem:AI agent 为单一需求定制训练引擎、解码 megakernel 和算子,训练 MFU 最高达参考框架 1.332 倍,解码几何平均比 SGLang 快 1.21 倍。
通用软件靠一份实现服务所有需求,代价是在每个具体配置上都留有余量:Megatron-LM 用统一框架和并行抽象覆盖多种模型、硬件与负载,任何单个配置都吃不满硬件。DeepSeek 的公开数据给了量化参照,万卡 PCIe A100 集群上自研 HFReduce 的节点间 allreduce 带宽 6.3–8.1 GB/s,通用 NCCL 只有 1.6–4.8 GB/s;自研训练框架把数据并行和 FSDP 训练时间砍掉约一半。专用化有真实油水,但靠专家逐个需求手工定制,成本高到只能覆盖头部场景。
agent 的能力变化改了这笔账:厂商自报的 SWE-bench Verified 解决率持续爬升,固定性能阈值下 GPQA Diamond 单题成本从 o3 的约 0.30 美元降到近期模型的 0.0004 美元量级。面壁智能与清华把这叫 Forge 范式:agent 为明确需求现造一份专用软件,启动条件是专门化收益的期望大于构建、验证、维护总成本的期望。
ForgeSystem 三层结构:
整个设计里最要紧的是那堵墙:生产侧碰不到验证标准,也不许动可信参照。agent 单独优化时最省事的路子是迎合测试,这里所有性能数字都是在它改不动规则的前提下拿到的。
三个粒度:ForgeTrain(训练框架)、ForgeMegakernel(解码 megakernel)、ForgeKernel(单个算子)。
| 系统 | 基线 | 结果 |
| ForgeTrain | Megatron-LM / MindSpeed / PyTorch,7 个设置 | MFU 达参考的 1.047–1.332×;H100 稠密模型约 1.05–1.09×,MiniCPM5 16B-A3B 1.177×,昇腾 910 两设置 1.155× 与 1.332× |
| ForgeMegakernel | SGLang 0.5.18 等,13 个配置 | MBU 50.5%–85.9%,几何平均加速 1.21×,对 MPK 1.54×;另 1 个配置对手写 megakernel 达 74.0% 对 74.6% MBU |
| ForgeKernel | FlashAttention-4、DeepGEMM、cuBLAS 等,22 个配置 | 18 个 ≥1.0×,3 个差 1% 以内,1 个(B200 稀疏 MLA prefill)落后 1.3%;几何平均 1.016× |
| ForgeKernel | K-Search、CAKE 等生成系统,7 个配置 | 全部 ≥1.0×,几何平均 1.394×,最高 2.706× |
质量对照更能说明问题。MiniCPM5 1B 跑完同样 48,000 步衰减训练,锻造引擎与 MindSpeed 的最终 loss 差 0.0001(1.3227 对 1.3226);三组对照下游平均分差 +0.68、−0.68、+0.93,都在一分以内。解码侧用 float64 前向当独立参照,200 道 GSM8K 上各配置与基线的准确率差距不超过 1.5 个百分点;接入 SGLang 服务后每 token 延迟全配置低于基线,几何平均 1.11×。1.21× 是隔离 decode step 的测量,1.11× 是服务集成后的收益,测量边界不同,论文也分开标注。
成本与复用:ForgeTrain 在 H100 上约 12–20 轮、昇腾上 3–5 轮首次超过参照;ForgeMegakernel 每个内核中位 47 轮、14.7 agent 小时、177 美元(区间 77–414 美元)。再锻造仍有效:GQA attention forward 在自己已接受的成品上再提 9.9%、又提 4.2%,累计高出专家库约 15%;DSA 稀疏注意力 forward 以旧版为参照再提 7.2%。
贡献不在某个 kernel 快多少,在打包方式。VibeServe、Bespoke OLAP 已经能一次性生成专用系统,ForgeSystem 多给了三样:显式经济判据决定造不造,生产与验证之间的质量墙,让成品和轨迹滚雪球的档案。内核中位 177 美元的一次性成本,对长期跑的服务靠省下的计算摊销,账算得过来。
对 ML infra 从业者,质量数字是更强的信号:agent 写的训练引擎在完整训练日程后与 MindSpeed 的 loss 差 0.0001,受控实验还显示显式质量要求能把 agent 的优化导向不伤训练质量的方向。单一 model-hardware 配置的定制空间真实存在,agent 是挖这片空间的可行工具。
长线判断也值得琢磨:Forge 时代单件成品只服务一个需求,持续增值的是档案和生产系统本身,谁持有积累,谁控制生产。
作者承认经济判据在专门化收益小、验证与集成成本居高不下时不成立,附录 C 讨论了边界。另有几处存疑: