Sebastian Raschka 呼吁:开源 LLM 生态缺一个「积木式」组件 API

rasbt · x · 2026-11-16

Sebastian Raschka(rasbt)提出,开源 LLM 生态急需一个统一的 building-block API:换掉 GQA/MLA、dense FFN/MoE、注意力/Mamba2 等组件时切换成本过高,即便有 LLM 辅助编码也很混乱。

配图展示了他设想中的 PyTorch 风格 API:用 nn.LLM 声明式配置 mixer(GQA/MLA/GatedDeltaNet/Mamba2)、FFN(MoE/dense)、norm 与 residual 方式,并附各组件的架构图解。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →