Moonshot 开源 MoBA:称 95% 注意力计算被浪费,长文本快 16 倍
gekobraa · x · 2026-09-09
Moonshot AI(月之暗面)开源了驱动 Kimi 长上下文的注意力机制 MoBA(Mixture of Block Attention),称标准全注意力中约 95% 的计算是浪费的。
- 标准 attention 随上下文二次方增长($O(N^2)$),每个新 token 都要回看全部历史
- MoBA 把 MoE 思路引入注意力层:把上下文切成块,由轻量动态门控让每个查询 token 选择性关注相关块,避免暴力全量计算
- 官方称比全注意力快最多 16 倍
作者认为是国内团队在长上下文效率方向又一项有分量的开源工作。
「模型」频道最新
- 网友爆料 Hugging Face 曾遭黑，称前沿 AI 安全内幕远比公开更多 — Justin_Halford_ · 2026-09-09
- 曝 OpenAI 算力吃紧，GPT-6 增长或致暂停新增 Pro 订阅 — op7418 · 2026-09-09
- OpenAI 高管称 Astra 需求空前,GPT-6 用量若续涨或暂停新增 Pro 订阅 — op7418 · 2026-09-09
- 老玩家自称练出「直觉 pangram」一眼识别 AI 生成文本 — IndraVahan · 2026-09-09
- 腾讯混元发布 Gander:全双工多模态交互智能体技术报告 — Tencent-Hunyuan · 2026-09-09
- 从算错 2+2 到数学博士级:一张推文概括 AI 三年进化 — haider1 · 2026-09-09