ForgeSystem 论文:AI Agent 为单一负载定制内核,解码超 SGLang 21%
aftahi_ai · x · 2026-11-20
面壁智能(ModelBest)与清华团队的论文提出 ForgeSystem:一种由 AI Agent 按单一负载需求定制生产专用软件工件的架构。
核心论点:通用框架(PyTorch/Megatron 等)中大量模块边界是为兼容性而非速度而设,所有用户都在为通用性付出“速度税”。传统上为每个负载手工重写融合栈不值得人力成本,而 Agent 改变了这笔账——可以按需自动生成专用实现。
关键事实与数据:
- 训练侧把梯度裁剪、Adam 更新、精度转换三次独立的参数遍历合并为单个融合 kernel,一次访存完成
- 推理侧将解码步的计算、数据加载、片上存储等组织为单一数据路径
- 实测:decoding 较 SGLang 提升 1.21×,22 项 kernel 任务中 18 项持平或超越专家级手写库
作者抛出的开放问题:如果每个负载都能获得自己的融合栈,通用框架的存在意义是什么。
所属事件:面壁智能与清华推出 ForgeSystem,AI Agent 定制专属系统(2 条相关)→
「Infra」频道最新
- Gemini Ultra 每月 1000 点 Colab 算力:约合 55 小时 H100 — iskander · 2026-11-22
- Hy 团队反对超稀疏 MoE:稀疏换效率但救不回质量 — douglovefishing12 · 2026-11-22
- SpaceX 拟射 400 亿美元 AI 芯片上太空,贷款方因抵押品无法追回而反对 — flngr · 2026-11-22
- Mac 刘海里塞进本地语音助手:4B 模型 0.43 秒开口 — KungFuSaifooo · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- 微软 Outlook 宕机报告出炉:确认与 AI 工具无关,修复需全舰队两轮重启 — aronchick · 2026-11-22