新论文:CoT 推理步骤在隐藏层中有几何结构,中层最可分
dair_ai · x · 2026-09-08
论文《Beneath the Surface of Chains-of-Thought》研究推理步骤是否具有内部结构,还是只有文本表层结构:问题建模、目标分解、演绎等不同推理操作是否在隐藏表示中呈几何组织。
- 结论:这些操作在留出的隐藏表示中确实可分,可分性在中间层达到峰值
- 排除了词汇与位置混淆因素:相同的表层 token 因所在 chunk 的操作不同而表示不同,说明几何结构追踪的是功能而非措辞
- 注意力掩码实验显示,chunk 开头的操作对齐表示依赖前序推理上下文,即操作标签是从推理轨迹中构建出来的,而非直接读出
所属事件:NAVER 研究揭示 CoT 推理步骤在隐藏层具几何结构(2 条相关)→
「研究」频道最新
- 用小模型替代正则做语法高亮，正确率对标 Shiki — shuding · 2026-09-08
- FlowBalance:基于验证器的自改进方法,数学推理较 GRPO 平均提升 2.12 分 — _akhaliq · 2026-09-08
- DeepMind 发布 AlphaGenome Atlas:收录人类基因组全部 90 亿种单碱基突变影响 — salgar · 2026-09-08
- 机器人先驱 Rodney Brooks 公开 AI 历史文献合集:从图灵到 Minsky — SoloGen · 2026-09-08
- INT21 用 Agent 集群生成 Qwen3.8 训练器，吞吐超 PyTorch 11.5 倍 — bingxu_ · 2026-09-08
- 16-128 并发用户实测：分类与生成任务对 LLM 压力差异显著 — rseroter · 2026-09-08