小红书联合复旦提出 DR-Rubric，用 agent 生成评分细则作 RL 奖励
jiqizhixin · x · 2026-10-28
小红书与复旦大学联合提出 DR-Rubric，据称已被 NeurIPS 2026 接收，解决开放式问题「谁来写评分细则」的难题。
- 瓶颈：诸如「表达清晰完整」这类通用指令无法捕捉让答案真正有用的事实与约束；用弱 rubric 做训练会奖励错误行为。
- 机制：先由 agent 对问题做信息收集，汇集外部证据与常见失败模式；将证据转化为逐条可独立检验的约束，以约束满足比例作为强化学习奖励；并通过自举（bootstrapping）阶段让训练后的模型为后续轮次生成 rubric，形成自我改进循环。
- 效果：在共享的 Qwen3-8B-SFT 初始化下仅用 1000 条 RL 实例，GPT-5 rubric 变体在 ResearchQA 得 73.7 分、DeepResearchBench 得 43.0 分，分别超过最佳基线 3.8 和 3.2 分。
「研究」频道最新
- François Fleuret 提出对齐三步法：预训练加 RL、给 token 标「想/说」 — francoisfleuret · 2026-10-28
- VibeVideoBench 发布:多模态智能体写代码生成视频,常败于时间管理 — Muxi Diao · 2026-10-28
- 近600次训练证明:Looped Transformer 全量BPTT优于截断反向传播 — Xuyuan Xiong · 2026-10-28
- 研究:多智能体记忆按稀有或相关性筛选反而降低 LLM 群体决策准确率 — Anouar Imel · 2026-10-28
- 谷歌 AI Mode 被曝免引用注入知识图谱人物传记数据 — dejanseo · 2026-10-28
- DFR 框架求解扩散模型奖励微调难题：高奖励不牺牲多样性 — mmbronstein · 2026-10-28