Sebastian Raschka 呼吁:开源 LLM 生态缺一个「积木式」组件 API
rasbt · x · 2026-11-16
Sebastian Raschka(rasbt)提出,开源 LLM 生态急需一个统一的 building-block API:换掉 GQA/MLA、dense FFN/MoE、注意力/Mamba2 等组件时切换成本过高,即便有 LLM 辅助编码也很混乱。
- 现有项目(torchtitan、torchtune、Megatron Core、OLMo-core)抽象层级都不够
- 这种 API 需要精心工程化维护、性能达到生产可用,而非周末 vibe coding 作品
- 面临鸡生蛋困境:要被广泛采用才流行,要流行才被广泛采用
配图展示了他设想中的 PyTorch 风格 API:用 nn.LLM 声明式配置 mixer(GQA/MLA/GatedDeltaNet/Mamba2)、FFN(MoE/dense)、norm 与 residual 方式,并附各组件的架构图解。
「Infra」频道最新
- 参议员 Cantwell 致函抨击商务部 AI 芯片出口管制失职 — ShakeelHashim · 2026-11-16
- AI 股连续第二日下跌:Nebius 跌近 9%、CoreWeave 跌 6% — GaryMarcus · 2026-11-16
- 百度 Q3:AI 云基建收入涨 94%,AI 业务占核心营收 53% — Baidu_Inc · 2026-11-16
- RTX Spark 笔记本跑 Llama v1 应用,LFM Omni 生成达 100 tok/s — LysandreJik · 2026-11-16
- llama.cpp 团队推本地 AI 应用 Llama:数据不出本机,支持 LFM3-Omni — mervenoyann · 2026-11-16
- 阿里腾讯字节都在海外建数据中心,但并非每家都买昇腾芯片 — teortaxesTex · 2026-11-16