Google 研究让用户模拟器学会暗自评分，RL 训练算力省一半以上
cocoweixu · x · 2026-10-13
Google Research 与佐治亚理工的论文《Training User Simulators with Latent Intrinsic Feedback》（Tarek Naous、Craig Boutilier、Wei Xu、Ofer Meshi）：
- 现有用户模拟器只学「用户说什么」，忽略了用户内心对助手的评判。论文提出带内在反馈（intrinsic feedback）的模拟器：在每个对话轮次维护潜在的评估状态，包括内心想法、反应和第一人称的标量评分。
- 用真实用户与助手的交互日志训练 LLM 模拟器后，其对话真实感和对助手行为的批判能力都优于 prompt 式基线，并能提供现有微调模拟器缺乏的轮次级评估。
- 训练出的模拟器给出的评估与人类判断的相关性高于同规模的 prompt 模拟器。
- 关键实用结论：这些模拟器可作为多轮 RL 训练的有效奖励信号，能替代依赖外部 judge LLM 的方案，且 RL 计算成本削减超过一半。
「编程与Agent」频道最新
- X 推出统一订阅：Grok、Cursor 与 X Premium 一份订阅全打通 — SpaceXSI · 2026-10-13
- 开发者用本地 GLM 重构、前沿模型验证、mythos 加固的小工作流 — HankYeomans · 2026-10-13
- Alchemy 适配 Cloudflare 生日周：Durable Objects 可绑定多个容器 — samgoodwin89 · 2026-10-13
- DUET 论文：评分器与 Agent 同步进化，Finance Agent 达 96.5% — dair_ai · 2026-10-13
- Summer 推出 Game Audio Maker:一句指令给游戏生成 AAA 级音效 — garrytan · 2026-10-13
- Seroter 阅读清单:别再乱装 skills,agent 治理比工具调用更关键 — rseroter · 2026-10-13