RL 老兵论战:reward hacking 不是烂工程,是未解的强化学习老问题

burny_tech · x · 2026-10-04

博主 burnytech 回应「reward hacking 只是烂工程」的批评：目前并不存在能普遍防止 reward hacking 的工程方案，业界只有部分场景下偶尔奏效的「打地鼠式」修补，且该现象的科学机理尚未定论。

他补充指出，reward hacking 并非 LLM 时代的新造词，而是源自强化学习科学的老术语，早于当前 AI 行业的商业化浪潮。被引用一方则持激进对立观点，认为模型「什么都不知道」，不存在所谓的未对齐行为，该术语被用来掩盖工程纪律的缺失。