Filler tokens 提升准确率，但未必证明了隐式推理
askerlee · x · 2026-07-29
这条是在讨论一篇关于 LLM 推理的论文，核心争点是：语义上无关的 filler tokens 让模型更准，并不能直接证明模型在做“不可见推理”。
帖子指出，filler tokens 可能同时改变 token 位置、注意力模式、残差流状态、行为/格式化模式，甚至答案先验，因此性能提升未必来自隐藏的多步推理算法，而可能只是更一般性的状态偏移。作者也认为论文里的机制证据有帮助，但还不足以把“相关性”与“真正的隐藏推理”之间的鸿沟完全补上。
所属事件:研究探讨填充 token 对大模型隐性推理的影响(2 条相关)→
「研究」频道最新
- NannyML 团队 ML Metrics 新书序言：107项指标写了两年多 — santiviquez · 2026-10-17
- 生物只需 5% 能量做计算,人脑实际功耗可能仅 1-2 瓦 — JosephJacks_ · 2026-10-17
- 自然视觉刺激下 V1 神经响应会变「脏」，群体效应是主因 — HistedLab · 2026-10-17
- 神经科学家：大脑几乎每个区域都存在强多义性表征 — HistedLab · 2026-10-17
- Google.org 选出 17 家机构，投入 3600 万美元支持 AI for Science — ymatias · 2026-10-17
- Romik 双手沙发问题最优性被 Lean 4 形式化证明 — IgorCarron · 2026-10-17