EMNLP 2026论文SPADER：步骤级信用分配+长尾探索奖励，多答案QA召回全面领先

机器之心 · wechat · 2026-10-18

被EMNLP 2026录用的论文SPADER针对多答案问答（Multi-Answer QA）场景下现有RL方法的两处错位：GRPO的轨迹级优势导致信用分配粗糙，以及F1奖励对长尾实体缺乏激励，智能体搜到几个头部答案就提前终止。

方法包含两个组件：SPA（Step-wise Peer Advantage）将GRPO优势细化到步骤级，按决策步对齐并行轨迹、以组内同伴的未来回报为基线，无需critic和外部评估器；多样性感知探索奖励则给稀有长尾发现更高溢价并叠加工具成本，让「何时继续搜、何时收手」从奖励结构中自然涌现。在Llama3.1-8B与Qwen3-8B两种基座、四个基准上F1全部第一，QAMPARI上相对PPO/GRPO最高提升86.1%；消融验证两个组件缺一不可，且搜索效率并未因更大覆盖而劣化。