港中文系统实验揭示循环语言模型何时真正有效
CUHK-CSE · hf · 2026-10-01
港中文团队系统研究循环语言模型(LoopLM)——通过参数共享循环增加计算深度、不增参数即可扩展推理算力——的有效条件,发布三项受控实验结论。
主要发现
- 何时有效:循环计算能提升超出训练范围的推理表现,但会损害知识类任务;更难的推理题并不必然从更多循环中获益。
- 在哪施加:表现取决于层与循环迭代如何分配,「有效深度」不足以预测行为;非循环输出层能提升展开不足时的稳健性,输入/输出层的最优位置随推理预算变化。
- 条件注入方式:传统的初始状态注入对循环深度变化鲁棒性有限,团队提出 history-state injection 替代方案——按通道的 history-state 注入配合时间步条件化,以低成本在扩展展开时更好保留知识,且对推理预算更稳健。
结论为在不同推理预算下设计 LoopLM 提供了实用指南。
「模型」频道最新
- 网传 Google Gemini 4 已现：知识类 SOTA，编程约 Astra/Fable 5.1 水平 — haider1 · 2026-10-01
- GPT-6.1 Sol 各 effort 档基准出炉:对比 Astra 更省钱 — PawelHuryn · 2026-10-01
- Reddit 争议:无审查/abliterated 开源模型到底有什么实际价值? — EmilPi · 2026-10-01
- 用户称 Gemini 4 Argon 基本解决幻觉问题, "没人讨论这件事" — drhenriquesoares · 2026-10-01
- 元素名抢注大战：Neon 和 Argon 已被拿下，Krypton 花落谁家？ — tkipf · 2026-10-01
- 传 Gemini 4 Argon 初期仅面向 Ultra 订阅用户开放 — opmgyhx · 2026-10-01