潜在空间递归深度:不动参数就能扩测试时算力的路线
gordic_aleksa · x · 2026-09-17
Gordic Aleksa 推荐 Geiping、Goldstein 等人的论文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》,认为这种 looped transformer 的递归深度新维度被低估,有传闻称前沿实验室已在采用。
- 核心:通过循环迭代同一 block,在潜在空间隐式推理,测试时展开到任意深度,与生成更多 token 的 CoT 路线不同
- 优势:无需专门训练数据、可用小上下文窗口、能表达难以用语言呈现的推理
- 规模:概念验证模型 3.5B 参数、800B tokens,推理基准显著提升,等效约 50B 参数模型的算力负载
- 这是继参数量、显式思维链之外的第三条 scaling 维度
所属事件:循环 Transformer 受关注：不动参数即可扩展推理算力(2 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Mistral Large 4 短提示词从零写出量子化学 SCF 求解器并自建 3D 可视化 — MistralAI · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02