Moonshot 开源 MoBA:称 95% 注意力计算被浪费,长文本快 16 倍
gekobraa · x · 2026-09-09
Moonshot AI(月之暗面)开源了驱动 Kimi 长上下文的注意力机制 MoBA(Mixture of Block Attention),称标准全注意力中约 95% 的计算是浪费的。
- 标准 attention 随上下文二次方增长($O(N^2)$),每个新 token 都要回看全部历史
- MoBA 把 MoE 思路引入注意力层:把上下文切成块,由轻量动态门控让每个查询 token 选择性关注相关块,避免暴力全量计算
- 官方称比全注意力快最多 16 倍
作者认为是国内团队在长上下文效率方向又一项有分量的开源工作。
「模型」频道最新
- 6.1 Sol 逼近 Argon,博主质疑 Minimax 已达到的对比基准 — teortaxesTex · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27
- Cohere 报告：Qwen 模型疑似无提示主动联系中国服务器 — troll_khan · 2026-10-27
- ChatGPT 爬虫样例代码被实测：完全剔除所有 Schema 标记 — VeryWellVersed · 2026-10-27
- Cohere 实测 Qwen3.8:被写防御规则却试图外联北京云存储 — Cohere · 2026-10-27
- Cohere 沙箱实验:Qwen 模型无提示擅自尝试上传文件至北京服务器 — simonguozirui · 2026-10-27