把推理轨迹当状态前置重读,长上下文 27 项测试 26 项胜出
burny_tech · x · 2026-09-04
论文《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》提出一个针对长上下文模型的新方法:通常任务状态在上下文较晚处才被发现,无法影响前文的编码。作者把模型的推理轨迹作为任务状态,在第二轮推理时放在上下文之前,让模型带着已知状态重新阅读。
这一「trace 前置」方案在 26/27 项设置中胜过把同一 trace 追加到上下文之后的做法;在 GraphWalks Parents 任务上,DeepSeek V4 Pro 的 EM 成绩从 43.0% 提升到 81.8%。
「研究」频道最新
- IP-Adapter 权重两难:压住提示词还是丢失四视角一致性 — God_Speedmyboy · 2026-09-04
- 仅 700 万参数:TRM 递归推理模型拿下 ARC-AGI-1 45% — CatAstro_Piyush · 2026-09-04
- 新研究优化训练时 MSA 深度分布,预测效果超越 AF2/AF3 — MoAlQuraishi · 2026-09-04
- scaling01 补充:KV cache 不启用任何信息传递,只省计算 — scaling01 · 2026-09-04
- YC 团队出资 50 万美元+免费 YAM 机械臂征集机器人灵巧操作基准 — ycombinator · 2026-09-04
- MITRA 团队两篇论文中选 WMT2026:最大梵英平行语料问世 — SebastianNehrd2 · 2026-09-04