Adobe 等推出 SpyRL，用间谍游戏解决强化学习主观奖励难题
burkov · x · 2026-08-16
强化学习在数学或代码等有确定性答案的任务上表现出色，但在摘要或创意写作等缺乏单一正确答案的领域难以应用，通常依赖人类评分或模型作为裁判。
Adobe、亚马逊等多家机构联合提出了一种新路径：不尝试构建更好的裁判，而是改变训练任务以构造出确切的答案。其核心示例 SpyRL 让多个模型副本执行同一任务，但其中一个副本会收到不完整的信息；任务结束后，模型们尝试识别哪位参与者持有缺失信息。
由于“间谍”的身份是预先固定的，训练信号可以被精确核对。这种方法有望解决主观任务中难以获取准确奖励信号的瓶颈。
所属事件:RLSVR 方法助 AI 实现自我改进(2 条相关)→
「研究」频道最新
- 传 Nick 可解释性研究重大突破,好到 Yudkowsky 也得下调 p(doom) — QuintinPope5 · 2026-10-16
- 又一美国大厂采用混合滑窗注意力,OLMo 架构引热议 — saurabh_shah2 · 2026-10-16
- JHU 教师 Laurent Younes 免费教材《机器学习导论》:覆盖优化到生成模型 — TheTuringPost · 2026-10-16
- RFdiffusion3 登上 Science,同步开源生物分子设计 agent 框架 Chaperone — anshulkundaje · 2026-10-16
- 微软论文：给路由器看会话历史，多轮 Agent 任务成功率多提 3.3 分 — dair_ai · 2026-10-16
- 研究者痛批烂评测泛滥：每个人都该亲手做一次好 eval — gabriberton · 2026-10-16