循环模型新方法:1.6B 模型用 1/3 KV 缓存追平全缓存基线
rupspace · x · 2026-10-11
arXiv 论文《Towards Looped Models Done Right, Part II: Rethinking at Fixed Points》提出通过塑造循环语言模型(looped LM)的不动点,让 1.6B 参数模型在 KV 缓存缩小 3 倍的情况下,下游准确率仍追平全缓存固定深度基线。
- 作者包括 CMU 相关团队(Zhengzhong Liu、Eric Xing 等)
- 对推理与训练效率工程师有实际价值:可大幅压缩 KV 缓存占用,并加速 RL rollout,同时避免循环模型常见的性能退化
- 被 arXivBangers 评为 82/100 的推荐论文
「研究」频道最新
- 从失败动作反推目标:有界理性规划代理的在线贝叶斯目标推断 — xuanalogue · 2026-10-11
- 对齐研究者荐读:Rohin Shah 价值学习序列与模型误设反强化学习 — xuanalogue · 2026-10-11
- 纯 RL 训出的机器人自创杆上立杆、原地翻螺母等人类不会教的策略 — KyleMorgenstein · 2026-10-11
- 用一个三分类例子讲透 Softmax 与交叉熵的分工与梯度 — techNmak · 2026-10-11
- PartLLM 登陆 SIGGRAPH Asia：LLM 驱动任意粒度 3D 网格部件分割 — Promptmethus · 2026-10-11
- Duo Bregman伪散度实现截断指数族KL散度闭式计算 — FrnkNlsn · 2026-10-11