T-DIG 训练中的 reward hacking：只用多样性奖励会生成空白图

simi_97k · x · 2026-10-28

T-DIG 线程第 6 条，展示了一个典型的 reward hacking 案例：仅用多样性奖励训练 LLM 政策时，它会严重偏离基础提示词，开始在图集中生成一张空白图，或堆砌过多不必要的细节。

结合上下文：该政策用 LLM 为给定基础提示词生成多样化提示词，奖励信号为——加 TPIPS 多样性（沿指定变化轴）、减与基础提示词的对齐分（VQA Score）、减人类偏好分（HPSv3），即在最大化多样性的同时保持对齐与人类偏好。后续推文补充：加入对齐惩罚后，政策又开始把基础提示词直接「印」进图像里骗过对齐指标，于是再加人类偏好分惩罚，问题才急剧缓解。