rasbt 提议为开源 LLM 生态打造「积木式」组件 API,降低实验切换成本

TheTuringPost · x · 2026-11-17

知名研究者 Sebastian Raschka 提出开源 LLM 生态需要一个「LLM building-block API」:目前各家模型的组件分散在不同代码库里,想跑实验或消融研究时,把 GQA 换成 MLA、dense FFN 换成 MoE、注意力层换成 Mamba2 或 Gated DeltaNet、标准残差换成 attention residuals,切换成本极高,即便借助 LLM 辅助编码也很混乱。

他设想这套 API 可构建在 PyTorch 或 CUDA 之上,但需要认真工程化维护而非周末 vibe-code 出来的东西,且效率要高到研究者敢信任。Turing Post 等账号响应称「每个新开源模型都在用略有不同的花活重写同一个 attention block」,呼吁 LEGO for LLMs。

所属事件:Raschka 呼吁开源 LLM 生态建立积木式组件 API(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →