伯克利与DeepMind新论文：不靠思维链，让模型自建连续内部草稿
rbhar90 · x · 2026-09-24
伯克利与 DeepMind 的论文质疑我们对 Chain of Thought 的过度依赖：当前做法消耗大量算力和人力去手写逐步推理 token，只是为了把 transformer 「推」向正确答案。
论文提出 Abstract Token Curriculum (ATC)，不强迫模型输出人类可读的 token，而是通过一系列难度递增的问题分布，迫使模型自己构建连续的内部草稿本（latent scratchpad）来弥合难度差距。
在奇偶校验学习（parity learning）上，他们证明单层 softmax attention 会自然收敛到中间表示，说明这种隐式推理机制确实会出现。
「研究」频道最新
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉 — heghbalz · 2026-11-11
- 开源进程推进个性化胰腺癌疫苗:34 岁患者数据全公开征集专家意见 — jajoosam · 2026-11-11
- Ross Girshick 发布 CVPR 演讲幻灯片:复盘十五年目标检测史并衔接 LLM — CatAstro_Piyush · 2026-11-11
- KAIST 发现记忆会让 Agent 翻车，WikiTrace 用证据链接降 10.7 分差距 — dair_ai · 2026-11-11
- UHN 团队发布 DynaMELD，用机器学习公平排序肝移植等待名单 — VectorInst · 2026-11-11