中国前沿模型齐用线性注意力，Zai 推 MIT 开源 320B 多模态模型
ivan_bezdomny · x · 2026-08-26
Elie Bakouch 观察指出，除 DeepSeek 和 Kimi 外，中国所有前沿模型（如 GLM、Qwen 等）均采用了线性注意力机制和稀疏注意力设计，并普遍使用 Muon 优化器及“花哨”的残差连接（如 mHC），以最大化训练效率和信号传播。与此同时，Zai 发布了 GLM-5.3-Flash（前身为 Ox Alpha），这是一个 320B 总参数（18B 激活）的原生多模态模型，拥有 100 万 token 上下文窗口，完全基于中国 AI 芯片训练，并以 MIT 许可证开源。
所属事件:中国前沿模型集体转向线性注意力与开源(2 条相关)→
「模型」频道最新
- Nat Lambert 爆料：Nvidia、HuggingFace 预告近期密集发布 — natolambert · 2026-10-15
- 马斯克转发用户实测：Grok Bot 不比 Codex 强但更顺手 — elonmusk · 2026-10-15
- 爆料称 Anthropic 新模型将发布,疑似已挖出十余个 Chrome 高危漏洞 — matthew_d_green · 2026-10-15
- StartLux-Decision 发布:RL 训练的校准决策模型,27B 得分 72.8 — startlux-models · 2026-10-15
- Meta Muse Code 用量遭吐槽：5 小时额度仅剩 21% — ThomasScialom · 2026-10-15
- Claude Code 报错截图现「Fable 5.1」与「Opus 5」字样,疑为新模型露出 — adonis_singh · 2026-10-15