ICML 2026立场论文:别把中间token叫「思考轨迹」
rao2z · x · 2026-10-27
rao2z 宣布将于 11 月 2 日下午在法国波尔多 LaBRI/CNRS 演讲,主题配图是其参与的 ICML 2026 立场论文《Stop Anthropomorphizing Intermediate Tokens as "Reasoning/Thinking" Traces!》。论文核心论点:把 LLM 输出的中间 token 称为「推理/思考轨迹」是一种有害的拟人化隐喻。要点:
- 中间 token 不是思考:它们既不与人类可读的解释对应,也不必然与最终答案正确性、题目难度、所用算法相关;实测显示把 CoT 轨迹换成语义混乱的 token,模型解题表现几乎不变,说明轨迹只是习得的「提示增强」,而非可解释的推理过程。
- 更长≠更难:轨迹长度与任务复杂度只有弱相关;长轨迹常是退化 MDP 训练的伪影或自蒸馏掩码过拟合的产物,反而会教坏学生模型。
- 人类实验:当模型答案错误时,展示「思考轨迹」会让终端用户更容易被误导接受错误答案,制造虚假信任。
- 作者主张:应区分内部 token(私有、不可验证)与工具调用/结果(外部、可验证);真正的可验证性来自工具调用结果而非「思维链」,呼吁社区停止假设轨迹有终端用户语义或长度-复杂度关联,改进可解释性研究应关注潜在的因果 token。
「模型」频道最新
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌：综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- DeepSeek 每 token KV 缓存两年降至 890 字节,开源闭源差距之辩 — teortaxesTex · 2026-10-27
- GPT-6 Astra 零微调操控灵巧手：500 试仅 26 次成功，成功率 5.2% — stingning · 2026-10-27
- 爆料推测:fable 5.5 或达 4-5 万亿参数,以规模压制 Opus — haider1 · 2026-10-27
- Kimi K3 开源许可证设门槛:年收超 2000 万美元须另签协议 — alex_verem · 2026-10-27