架构消融实测：2020 年后最有用的改进是细粒度 MoE
stochasticchasm · x · 2026-10-31
作者 nvpavlichenko 发布了周末与 bux 共同运行的架构消融实验结果，写成文章《I Tried Every LLM Architecture Change since 2020》。
核心结论：
- 自 GPT-3 以来最好的架构改动是细粒度 MoE（fine-grained MoE）
- 线性注意力（linear attention）和 hyper-connections 也确实有效
作者说明虽非字面意义上穷尽了 2020 年以来所有架构改动，但覆盖面已足够接近。这是少见的对多种架构改进做横向实测对比的公开结果。
「模型」频道最新
- SenseNova-U1.5-8B 本地实测:M5 Ultra 跑 125 tok/s,还能揪出账单 $1 错误 — Binary_orchid · 2026-10-31
- 网友:Anthropic 取消 5 小时限额后,无人能挡其领先优势 — iruletheworldmo · 2026-10-31
- 传 ChatGPT Daybreak Blue 用户数据将用于训练,关掉设置也不行 — littmath · 2026-10-31
- Claude 拒画自家 logo：版权护栏严到连自己吉祥物都不让画 — 141_1337 · 2026-10-31
- OpenAI 与 Anthropic 宣称 AI 攻克悬置 27 年的计算机科学难题 — Fcking_Chuck · 2026-10-31
- Perplexity 实测 Gemini 4 Carbon:长文研究最强,WANDR 榜新 SoTA — AravSrinivas · 2026-10-31