循环语言模型新法:参数与 KV 缓存省 3 倍仍媲美 Transformer
ChengleiSi · x · 2026-10-03
研究者 huskydogewoof 发布题为「Rethinking at Fixed Points」的研究长线程,主张循环语言模型(looped LMs)无需为每次循环付出全部代价:可用 3 倍更少的参数和 3 倍更小的 KV cache,达到与标准 Transformer 相当的效果,即以恒定内存通过增加 FLOPs 来扩展能力。
核心是利用循环的不动点(fixed point),并提出:
- Fixed-Point Shortcuts:分析不动点在训练(预训练、后训练)和推理(prefill、解码)阶段能为循环模型带来什么
- 学习到的深度先验(learned depth prior)与正交注入(orthogonal injection):两种塑形不动点的方法
作者在原帖附了完整长线程展开细节。
「研究」频道最新
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19
- OpenVax 代码量 15 个月从 7.8 万行涨到 56.5 万行 — iskander · 2026-11-19
- François Fleuret:decoder Transformer 没有 trade-off 超参,足够优雅 — francoisfleuret · 2026-11-19