Sebastian Raschka 盘点 10 月开源 LLM:一个月 10 种新架构
rasbt · x · 2026-11-03
Sebastian Raschka（rasbt）整理了 10 月密集发布的 10 个开源/开放权重 LLM 架构，戏称其为「Open October」，并配上了架构图集（llm-gallery.com）：
- Kolibri-1 (78B, Aleph Alpha)：经典 GQA + 滑窗注意力（SWA），78B 总参/3.4B 激活
- Ling 3.1 Flash (560B, InclusionAI)：Kimi Delta Attention + 受 DeepSeek 启发的门控 MLA，25B 激活（4.5%）
- Muse Spark Open (816B, Meta)：Llama 之后 Meta 首个重量级开放权重模型，GQA+SWA+LatentMoE，42B 激活
- Nemotron 3.5 Super VL (120B, NVIDIA)：视觉语言模型，仅 8 层注意力 + 大量 Mamba-2 层，LatentMoE
- Dory1.0 (4B, NVIDIA)：循环 transformer，20 层块在 8 层块间循环两次
- Reflection Beam (501B)：GQA+SWA，49 层 MoE 每层 256 选 8 专家
- Recursive Flint (40B)：标准 MoE + GQA/SWA
- MiniMax M3.1-Flash (428B)：自研 MiniMax Sparse Attention，量化感知训练
- LFM3 (1.7B, Liquid AI)：短卷积 + 注意力混合架构
- Mistral Large 4 (1T)：MLA + 稀疏注意力，多模态 MoE，52B 激活
共同趋势明显：GQA+SWA 组合仍是基线，MLA、稀疏注意力、Mamba 混合与 LatentMoE 成为主流创新方向。作者预告后续会逐个深入分析。
所属事件:Raschka盘点10月开源LLM：一个月涌现10种新架构(2 条相关)→
「模型」频道最新
- JFPuget 团队在 Kaggle 双 ARC-AGI 竞赛同日双双拿下第三 — JFPuget · 2026-11-04
- 微信团队开源 WeVisOne-VL：2B/4B 统一目标与像素级感知 — bdsqlsz · 2026-11-04
- 提示词里放一颗红心,竟能让模型从 0% 到 100% 写递归 — rohanpaul_ai · 2026-11-04
- DeepMind 与斯坦福论文：提示图里一个红心就能左右 AI 写代码方式 — rohanpaul_ai · 2026-11-04
- DeepSeek 开源 DeepInfer 推理引擎:单卡每秒输出超 2.6 万 token — bycloud · 2026-11-04
- DeepMind 用 RL 训练 Gemini 做精神科问诊，鉴别诊断正确率翻倍 — SRSchmidgall · 2026-11-04