更多工作也用了不同KV头配置
eliebakouch · x · 2026-07-16
补充确认：`step 3.5`、`poolside`，以及作者认为的 `mimo` 也采用了类似做法。也就是说，在这类近期工作里，**SWA 层与全局层采用不同 KV heads 配置** 可能是一个共通模式。
所属事件:近期LLM在SWA层采用不同KV头数配置(2 条相关)→
「研究」频道最新
- DiFA 让扩散模型推理对齐前向统计，生成质量更高 — cn-scut · 2026-07-21
- 微软研究院把 LLM Judge 变 Coach，优于 rubric RL — MicrosoftResearch · 2026-07-21
- OpenLongTail 用生成视角补齐长尾自动驾驶数据 — TexasAMUniversity · 2026-07-21
- GEPO 用组熵改造 GRPO，在 13 项基准上更稳更强 — internlm · 2026-07-21
- 阿里 RynnBrain 1.1 把具身基础模型扩到 122B-A10B — Alibaba-DAMO-Academy · 2026-07-21
- Apple 提出无需真实环境的 API 智能体合成数据方法 — _akhaliq · 2026-07-21