GradCuit：基于梯度归因的测试时隐式推理新架构
Zhaoxin Yu · hf · 2026-08-04
论文提出了一种名为 GradCuit（gradient through circuit）的优化方法，旨在提升大语言模型在测试时的隐式推理能力。
- 现有痛点：传统的基于优化的隐式推理方法通常通过解码 token 连接状态与推理轨迹，导致序列级的信用分配变得间接。
- 技术创新：GradCuit 在选定 Transformer 层中插入可优化的隐式状态。利用因果自注意力机制，为后续 token 的对数概率提供直达隐式状态的可微路径，从而将奖励加权梯度直接分配给隐式状态。
- 实验结果：在多个推理基准测试中，GradCuit 平均准确率达 64.5%，比思维链提示高出 6.6 个百分点，比最强基线高 2.4 个百分点。同时，它在不同学习率下表现更稳定，且通过 token 级梯度归因发现，隐式影响主要集中在推理连接词上。
「研究」频道最新
- 人形机器人RL展现Scaling Law，分拣吞吐量提升85% — lukas_m_ziegler · 2026-08-04
- CCN 2026 预告：视觉皮层缩放律与神经 AI 前沿探讨 — martin_schrimpf · 2026-08-04
- Mila 学者分享非洲 20 语种大模型 AfroXLMR 等构建经验 — hugo_larochelle · 2026-08-04
- 论文探索预训练第三轴：探索性建模与端到端生成 — Benlus · 2026-08-04
- AIxIA 论文探讨从表征学习迈向持续学习智能体 — v_lomonaco · 2026-08-04
- 文本扩散模型优势解析：中小批量与长上下文表现亮眼 — bodonoghue85 · 2026-08-04