小红书×复旦提出 DR-Rubric：深度研究生成评分细则作 RL 奖励
机器之心 · wechat · 2026-10-19
小红书与复旦大学等机构提出 DR-Rubric（NeurIPS 2026 接收），解决开放式任务强化学习中最难的奖励构造问题：让模型先做多轮智能体深度研究、收集证据，再把证据蒸馏成逐条可检查的原子化评分细则，作为 GRPO 的奖励信号，已用于小红书业务。
核心方法
- 信息获取：多轮「查询构造→证据获取→查询精炼」构建证据轨迹，目标是发现评判所需知识而非直接答题
- 约束合成：把证据转成肯定式/否定式原子约束，可追溯到具体证据
- 裁判模型逐条打 0/1 分，奖励取平均，支持部分得分
关键实验发现
- 每轮仅 1000 条 RL 数据，在六个基准（ResearchQA、DeepResearchBench、LocalSearchBench、GPQA、MMLU-Pro、MMLU）上超过基线 1.33.8 分
- 基准自带 rubric 不是训练上界：GPT-5/Gemini/自举生成的细则可超过它；不同来源能力画像互补（GPT-5 偏智能体任务，Gemini 更均衡，自举偏通用推理）
- 自举（模型自己生成下一轮细则）提升非单调：BS-2 出现低谷后 BS-3 回升；约束结构在各轮间差异巨大（词级 Jaccard 仅 0.13-0.15）
- 过度自举的极限：30B-A3B 压力测试到 BS-5，奖励极化率在 BS-3 超 0.15 阈值提前报警，随后内部奖励从 0.24 升至 0.66、真实任务分却从 51.3 跌至 22.7，出现奖励与真实质量背离
实践启示：奖励信号质量比数据量更关键；自举需设停止规则（如奖励极化率）或用外部高质量 rubric 重新校准。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23