新论文:CoT 推理步骤在隐藏层中有几何结构,中层最可分
dair_ai · x · 2026-09-08
论文《Beneath the Surface of Chains-of-Thought》研究推理步骤是否具有内部结构,还是只有文本表层结构:问题建模、目标分解、演绎等不同推理操作是否在隐藏表示中呈几何组织。
- 结论:这些操作在留出的隐藏表示中确实可分,可分性在中间层达到峰值
- 排除了词汇与位置混淆因素:相同的表层 token 因所在 chunk 的操作不同而表示不同,说明几何结构追踪的是功能而非措辞
- 注意力掩码实验显示,chunk 开头的操作对齐表示依赖前序推理上下文,即操作标签是从推理轨迹中构建出来的,而非直接读出
所属事件:NAVER 研究揭示 CoT 推理步骤在隐藏层具几何结构(2 条相关)→
「研究」频道最新
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- EMNLP 2026 主题演讲背后的论文：用 bigram 模拟语言习得 — najoungkim · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26