rasbt 提议为开源 LLM 生态打造「积木式」组件 API,降低实验切换成本
TheTuringPost · x · 2026-11-17
知名研究者 Sebastian Raschka 提出开源 LLM 生态需要一个「LLM building-block API」:目前各家模型的组件分散在不同代码库里,想跑实验或消融研究时,把 GQA 换成 MLA、dense FFN 换成 MoE、注意力层换成 Mamba2 或 Gated DeltaNet、标准残差换成 attention residuals,切换成本极高,即便借助 LLM 辅助编码也很混乱。
他设想这套 API 可构建在 PyTorch 或 CUDA 之上,但需要认真工程化维护而非周末 vibe-code 出来的东西,且效率要高到研究者敢信任。Turing Post 等账号响应称「每个新开源模型都在用略有不同的花活重写同一个 attention block」,呼吁 LEGO for LLMs。
所属事件:Raschka 呼吁开源 LLM 生态建立积木式组件 API(2 条相关)→
「编程与Agent」频道最新
- Decision Models 更新图片决策 Playground,可查看概率与请求成本 — airesearch12 · 2026-11-17
- 微软手握全部代码仓库,Copilot 编码还是不行——为什么? — prasenx · 2026-11-17
- Baseten 用 Rust/CUDA 从零打造 DeepSeek 推理引擎,agent 优化出 10% 额外提速 — baseten · 2026-11-17
- shadcn 分享:让 agent 写代码前先问一句「你确定吗」 — shadcn · 2026-11-17
- 斯坦福 CS329A《自我改进 AI Agent》9 讲全套免费上线 YouTube — techNmak · 2026-11-17
- 单文件网页复刻「进度条卡在99%」,纯 JS 合成全部音效 — prasenx · 2026-11-17