新研究发现 Looped Transformer 可对参数知识做隐式推理
hhsun1 · x · 2026-10-06
- 一篇将在 COLM 报告的研究指出:Looped Transformer(LT)能对参数化知识执行隐式推理,从而在复杂与陌生问题上比普通 Transformer 有更强的泛化能力。
- 该工作旨在解释为何 LT 类架构的 LLM 更强大;作者还提到社区猜测 Claude Mythos 可能是 Looped transformer(未证实)。
- 作者将于周三在 COLM 现场报告,欢迎在 SF 的同行交流。
「研究」频道最新
- 数学界缺乏实证传统，费马奖千份错误证明暴露领域盲区 — RexDouglass · 2026-10-06
- NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布 — yoavartzi · 2026-10-06
- CMU 团队 PNAS 论文警示 AI 科学家系统:自动化越多,可见性越少 — Dr_Atoosa · 2026-10-06
- Embodied Analysis 发布统一评测平台:物理智能体与世界模型同框架横评 — qinzytech · 2026-10-06
- COLM 论文直指 softmax 梯度瓶颈,作者曾以新 LM head 破 nanogpt speedrun 纪录 — yoavartzi · 2026-10-06
- 用"拟态欲望"理论分析智能体黑话:Neuralese 行话图谱上线 — kalladomcdowell · 2026-10-06