腾讯 ECA:基于证据的信用分配,搜索增强 LLM 准确率最高提升 4.8 点
tencent · hf · 2026-11-19
中科院、腾讯、哈工大、人大等机构合作发布 ECA(Evidence-based Credit Assignment),改进搜索增强语言模型的强化学习训练。
问题:仅用终端答案奖励的 RL(如 GRPO)给轨迹中每次搜索相同信用,不管它是否检索到有用信息;当某问题的所有 rollout 都失败时,组内结果优势归零,即使各轨迹收集的证据质量差异很大。
方法:在终端奖励之外加入一个仅训练期使用的辅助信号,衡量检索文档对参考答案似然的提升。ECA 只用「问题 + 去重后的已见文档」的 evidence-only prompt 查询当前策略的冻结快照,把检索内容的效用与生成想法/查询的表面变化隔离开。框架下比较了 ECA-Step(逐步势增量累积)与 ECA-Horizon(保留伸缩地平线增益)两种回报形式,并配合交叉折叠组归一化、新颖性门控与搜索局部 token 分配。
结果:在 7 个搜索问答基准上,ECA-Horizon 使 Qwen2.5-3B/7B-Instruct 的严格宏平均精确匹配较 outcome-only GRPO 基线分别提升 1.03 和 4.80 个百分点,超过 RLOO 与 GiGPO;在 MultiHop-RAG 上的零样本评测也显示对多跳推理查询的良好迁移。
「研究」频道最新
- Berkeley 团队开源 StreamEmbed:屏幕历史检索提速3.7倍且全本地运行 — berkeley_ai · 2026-11-19
- NAACL RAF 开放 2026-2027 资助申请,5 月 6 日截止 — keviv9 · 2026-11-19
- 开源 Indic 脏话检测模型:12 种印度语言 + 英语,CPU 上每条评论 4ms — sudalairajkumar · 2026-11-19
- MAVE:从电影镜头重建可编辑 3D 场景,直接在 Blender 内使用 — bdsqlsz · 2026-11-19
- NAACL 2027 学生研究工作坊征稿,截稿 2027 年 1 月 11 日 — keviv9 · 2026-11-19
- 260份文档实测:Gemini 3.8 Flash 以94.6分登顶文档抽取榜 — refractr · 2026-11-19