MUX 潜在推理法入选 NeurIPS Spotlight,CoT 长度缩短 3-6 倍
mmbronstein · x · 2026-09-25
论文 MUX 被 NeurIPS 2026 接收为 Spotlight。该方法把文本思维链(CoT)转化为潜在连续推理:模型不再预测 one-hot 向量,而是学习预测多个 one-hot 向量的加权平均(作者称为 multiplexed tokens),这种 token 可设计为无损,等价于在叠加态中做多 token 预测(MTP)。
- 在横跨 1-8B LLaMA 基座模型的 32 个数学评测设置中,MUX 是表现最好的潜在推理方法
- 可将 CoT 长度缩短 3-6 倍
- 支持并行搜索,发挥叠加推理的核心优势
「研究」频道最新
- 免校准量化方法 TQ 开源:4-bit 量化 Qwen3.8-27B 即发即用 — textclf · 2026-09-25
- Yoav Goldberg:LLM 推理链强得反常,难以解释其如何从 RL 中涌现 — yoavgo · 2026-09-25
- 12 周建成全 AI 运营实验室，C5 发布 SciUniverse 科学研究基准 — RazRazcle · 2026-09-25
- IDS 论文入选 NeurIPS Oral:代码与形式化证明协同演化,成功率 3 倍于 Claude Code — adityagp · 2026-09-25
- Astral Codex Ten 长文剖析「神经语递归」:OpenAI 首席科学家的解释能打几分 — Astral Codex Ten · 2026-09-25
- AI Agent 经济学论文:Agent 采购平均只选到第 5 顺位商品 — ghadfield · 2026-09-25