EVALUESTEER:最佳奖励模型超25%场景无法对齐用户价值观
MaartenSap · x · 2026-10-25
Kshitish Ghate 与 Maarten Sap 等人发布论文 EVALUESTEER，研究奖励模型（RM）能否被引导向用户特定的价值观与风格偏好，将在 ICLR 海报展示（10月26日）。
核心发现：即使测试中表现最好的奖励模型也带有自身的价值/风格偏见，在超过 25% 的情况下无法与用户的偏好对齐。这意味着用于对齐 LLM 的 RM 并非中性载体，其对用户个性化价值的可引导性存在明显上限。
「研究」频道最新
- 研究：新兴声音通讯的组合性可分为线性、同时与图像式 — abenitezburraco · 2026-10-25
- OpenDS-World 基准：GPT-6 Astra 实时网页深度搜索 39%，人类均值 21.1% — emmanuelvivier · 2026-10-25
- 微软 AI 诊断系统 MAI-DxO 准确率 83.2%，碾压医生的 36.1% — emmanuelvivier · 2026-10-25
- 安全研究者放话：验证要做到麦克斯韦方程层，而非止步汇编 — JacquesThibs · 2026-10-25
- 云端 Agent 监督本地 35B 自出 800 题：出题比解题更易错，错题率 5 倍 — Individual_Page9676 · 2026-10-25
- SA-LapNet：从波函数构造上根治神经网络量子计算的态混合难题 — bravo_abad · 2026-10-25