开源稀疏注意力新方法:Qwen 27B 无损压缩,上下文可延至 1000 万 token
Immediate_Sky_6566 · reddit · 2026-11-03
研究团队开源一套稀疏注意力新方法,核心结果:
- Qwen 3 27B 的注意力可以稀疏化,实测精度无明显损失
- 上下文扩展到 1000 万 token 时,部分特定任务精度下降,但多数任务(如大海捞针 NIAH)依然正常
- 关键发现:仅用 next-token prediction 损失即可原生训练稀疏注意力,验证损失与全注意力持平,且速度更快
全部开源:kernel、SGLang 集成、论文与细节一应俱全。团队主攻 H200/B300 大规模系统,但方法同样适用于小开源模型,可在本地硬件上更便宜地跑长上下文。
所属事件:开源 LSA 稀疏注意力：Qwen 27B 上下文扩至千万 token(3 条相关)→
「Infra」频道最新
- WSJ：大投资者压价 Anthropic IPO 至 1.5-1.6 万亿美元 — rohanpaul_ai · 2026-11-03
- Cerebras 工程师拆解晶圆级芯片散热:水直进直出而非平行流过 — bookwormengr · 2026-11-03
- Altman 称家用闲置内存浪费，Goertzel 倡去中心化算力网络反制 — bengoertzel · 2026-11-03
- 网友讽刺 AI 算力泡沫：借天量资金半年建 420 座数据中心 — asymco · 2026-11-03
- 硅谷广告牌抗议云 AI 偷数据,博主预言 iPhone 本地助手将匹敌云端十年 — brandon_xyzw · 2026-11-03
- 25 周里 23 周登顶：DeepSeek 占 OpenRouter 32% tokens — teortaxesTex · 2026-11-03