伯克利与DeepMind新论文：不靠思维链，让模型自建连续内部草稿
rbhar90 · x · 2026-09-24
伯克利与 DeepMind 的论文质疑我们对 Chain of Thought 的过度依赖：当前做法消耗大量算力和人力去手写逐步推理 token，只是为了把 transformer 「推」向正确答案。
论文提出 Abstract Token Curriculum (ATC)，不强迫模型输出人类可读的 token，而是通过一系列难度递增的问题分布，迫使模型自己构建连续的内部草稿本（latent scratchpad）来弥合难度差距。
在奇偶校验学习（parity learning）上，他们证明单层 softmax attention 会自然收敛到中间表示，说明这种隐式推理机制确实会出现。
「研究」频道最新
- Anthropic 生物学团队:一年内 Claude 能力进步惊人,已打通假设到实验验证 — Flomerboy · 2026-09-24
- IROS 2026 全会辩论：机器人该走通用路线还是专精路线？ — siddhss5 · 2026-09-24
- 格点高斯分布最大化香农熵，构成与黎曼θ函数相关的指数族 — FrnkNlsn · 2026-09-24
- 研究者称计算深度是缺失的 scaling 轴，网络深度自 GPT-3 起停滞百层 — burny_tech · 2026-09-24
- 跑基准测出「arjunomics 在权重里」，持续基准暴露对齐隐患 — kenbwork · 2026-09-24
- Arena 开放 2026 秋季学术计划，单项目最高资助 5 万美元 — arena · 2026-09-24