llm-blocks 开源:一行代码替换 MLA、Mamba-2、MoE 等 LLM 组件
cneuralnetwork · x · 2026-11-17
- 开发者 cneuralnetwork 发布开源库 llm-blocks(Apache-2.0),为 PyTorch 中的 LLM 架构研究提供乐高式可组合、可替换的组件。
- 核心卖点是通过改一行代码即可替换架构模块:注意力换成 MLA、Mamba-2 或 Gated DeltaNet,dense FFN 换成 MoE,普通残差连接换成 hyper-connections,而模型其余部分、训练循环和生成逻辑保持不变。
- 示例代码展示用 nn.Block 组合 GQA+RoPE、SwiGLU、RMSNorm 构建模型,并提供 summary() 输出逐层参数、激活参数量与每 token FLOPs 的表格。
「编程与Agent」频道最新
- Sentry 创始人谈 Agent 权限:密钥读取应默认全禁 — zeeg · 2026-11-17
- Sentry CEO 谈 MCP 凭证暴露风险:只给安全凭证,不做通用密钥管理 — zeeg · 2026-11-17
- 开发者让 AI Agent 做早期真机测试,Windows 沙盒揪出 7 个真实 bug — kevinkern · 2026-11-17
- Profound 联创 CTO:大家都说软件工程完了,我的看法恰恰相反 — soleio · 2026-11-17
- Fable 5.2 只想要个目标:之后别烦它,让它独自干几小时 — victormustar · 2026-11-17
- LangChain 融资 3 亿美元估值 30 亿,发布 LangSmith Agent 平台 — LangChain · 2026-11-17