PreferenceEKF 论文把奖励模型主动学习做成序贯贝叶斯推断
ebiyik_ · x · 2026-10-20
TMLR 2026 接收论文 PreferenceEKF 提出了一种此前不可解的任务的可行方案：基于神经网络参数空间互信息的主动偏好学习。
核心思路：
- 将从偏好中学习奖励模型（RM）的过程转化为一个序贯推断问题，用扩展卡尔曼滤波（EKF）做序贯贝叶斯更新来训练 RM；
- 由此可以追踪奖励模型「还不知道什么」，从而在参数子空间上主动选择下一个要问的偏好查询，提高标注效率；
- 作者 @yutai95，推荐者称该方向「从未可行，直到这项工作」。
「研究」频道最新
- 用 Codex 花 160 万 token 跑 MPC 与 RL 末端跟踪对比 — ChongZzZhang · 2026-10-20
- 审计发现 Terminal Bench 4 已近饱和：65 个任务 60 个有问题 — scaling01 · 2026-10-20
- DeltaNet-PC 发布：预测编码原生支持序列数据的测试时记忆 — fkasummer · 2026-10-20
- 研究者观点：秘密的「此路不通」结果才是最宝贵的资产 — fkasummer · 2026-10-20
- 数学家 Kontorovich 用 Lean 语言再实验「整数游戏」 — AlexKontorovich · 2026-10-20
- DeepSeek-V4 答案随 4 token 周期翻转，chunked KV 压缩是元凶 — Francis_YAO_ · 2026-10-20