腾讯优图发布 LightningMoBA:长上下文注意力端到端提速 1.2-1.6 倍
tencent · hf · 2026-11-20
腾讯优图实验室发布 LightningMoBA,通过三项机制协同设计 MoBA(块混合注意力)的选择与执行:
- 动态路由:对 per-query 块分数做阈值化,直接输出可变基数的稀疏元数据,摆脱固定 Top-k 预算
- KV 中心所有权:按 (query head, KV block) 分组,把高扇出列拆成有界任务并复用已加载 KV
- 运行时流水线:在 Hopper 上将常规 K/V 传输与不规则 query 收集同 Tensor Core 计算重叠
在五个 checkpoint、Top-16 保留率对齐下,端到端生成加速 1.20–1.60 倍,平均 RULER 分从 74.42 提升至 75.28,质量不降反升。
「Infra」频道最新
- 星链+LoRa+太阳能助日本山区水闸实现远程管控,6 次测试全成功 — XFreeze · 2026-11-20
- 分析师:黄仁勋的个人影响力难随英伟达 CEO 之位交接 — FinanceYF5 · 2026-11-20
- 欧洲 AI 考验在工厂里:主权算力须适配存量产线与监管 — ingliguori · 2026-11-20
- Mubit+Neon 中间件让 agent 省 73% 前沿模型 token,速度快 40% — JeremyCMorgan · 2026-11-20
- 2DSD 投机解码加速 Looped LM,最高达 7.64 倍且更省 KV 内存 — LucaAmb · 2026-11-20
- 美众院披露340万片对华芯片出口申请,含44.5万片英伟达H200 — Dan_Jeffries1 · 2026-11-20