腾讯开源 Simple-Attention-Sparsification：稀疏注意力延长 Qwen3 上下文
tencent · hf · 2026-09-14
腾讯在 Hugging Face 发布 Simple-Attention-Sparsification（SAS），一个文本生成模型，基于 Qwen3-14B 微调。
- 核心方向：稀疏注意力（sparse-attention）+ 长上下文（long-context），针对长序列推理的注意力稀疏化方法
- 训练数据使用 open-r1/OpenR1-Math-220k 数学推理数据集
- 附带论文（arxiv:2609.13141），并适配 sglang 推理框架
所属事件:腾讯混元开源稀疏注意力方法 SAS，延长模型上下文(4 条相关)→
「模型」频道最新
- 用户吐槽 Linux 版 Codex 应用像没人管的养子,体验糟糕 — eigenron · 2026-10-31
- Kimi 支持俄罗斯 Mir 卡直接付款，订阅 Pro 无需中介 — teortaxesTex · 2026-10-31
- Nat Lambert：开源模型或是维系 AI 生态的关键粘合剂 — natolambert · 2026-10-31
- Gemini 4 Carbon 登顶 APEX-Agents 榜首,唯一均值破 90% 的模型 — Swarooprm7 · 2026-10-31
- Sarvam 为印度开发本地推理版 opencode,遭网友吐槽「本地」定义 — kingslyj · 2026-10-31
- MiniCPM-OCR 1.3B 模型每分钟可处理 128 页，2B 校验模型接近 397B 巨兽 — haider1 · 2026-10-31