把推理轨迹当状态前置重读,长上下文 27 项测试 26 项胜出

burny_tech · x · 2026-09-04

论文《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》提出一个针对长上下文模型的新方法:通常任务状态在上下文较晚处才被发现,无法影响前文的编码。作者把模型的推理轨迹作为任务状态,在第二轮推理时放在上下文之前,让模型带着已知状态重新阅读。

这一「trace 前置」方案在 26/27 项设置中胜过把同一 trace 追加到上下文之后的做法;在 GraphWalks Parents 任务上,DeepSeek V4 Pro 的 EM 成绩从 43.0% 提升到 81.8%。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →