斯坦福 Finn 团队提出生成式价值分类器 GVC，用动作似然反推 Q 函数

chelseabfinn · x · 2026-10-25

Chelsea Finn 团队（Alexander Swerdlow、Perry Dong）发布论文 Generative Value Classifier（GVC），重新定义机器人策略的 Q-learning 思路：

核心反转：传统 critic 从稀疏奖励从零学起，无法利用预训练数据里动作本身携带的监督信号。GVC 反问“每个可能回报下这个动作有多大概率出现”，把价值学习变成生成式分类问题。
方法：学习回报条件化动作模型 p(a|s,z) 与回报先验 p(z|s)，用贝叶斯规则从动作似然恢复各回报区间的分布，进而得到隐式 Q 函数；平方误差损失将 Q 值锚定到 bootstrap 目标。
优势：critic 与 actor 共享架构，每个预训练动作都参与监督，而非只用回报标量；在离线与在线 RL 任务上均超过领先的判别式方法（含 distributional RL）。
展望：作者认为这种参数化能与大型预训练策略优雅结合，从更丰富的输出信号中学习与泛化。

「具身」频道最新