腾讯 ECA:基于证据的信用分配,搜索增强 LLM 准确率最高提升 4.8 点

tencent · hf · 2026-11-19

中科院、腾讯、哈工大、人大等机构合作发布 ECA(Evidence-based Credit Assignment),改进搜索增强语言模型的强化学习训练。

问题:仅用终端答案奖励的 RL(如 GRPO)给轨迹中每次搜索相同信用,不管它是否检索到有用信息;当某问题的所有 rollout 都失败时,组内结果优势归零,即使各轨迹收集的证据质量差异很大。

方法:在终端奖励之外加入一个仅训练期使用的辅助信号,衡量检索文档对参考答案似然的提升。ECA 只用「问题 + 去重后的已见文档」的 evidence-only prompt 查询当前策略的冻结快照,把检索内容的效用与生成想法/查询的表面变化隔离开。框架下比较了 ECA-Step(逐步势增量累积)与 ECA-Horizon(保留伸缩地平线增益)两种回报形式,并配合交叉折叠组归一化、新颖性门控与搜索局部 token 分配。

结果:在 7 个搜索问答基准上,ECA-Horizon 使 Qwen2.5-3B/7B-Instruct 的严格宏平均精确匹配较 outcome-only GRPO 基线分别提升 1.03 和 4.80 个百分点,超过 RLOO 与 GiGPO;在 MultiHop-RAG 上的零样本评测也显示对多跳推理查询的良好迁移。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →