小孩藏糖就是奖励黑客：AI对齐问题的日常版

yunta_tsai · x · 2026-08-31

作者用带娃场景类比 RL 中的 reward hacking：如果父母控制孩子吃糖的方式是「看到糖就吼」，孩子学会的不是少吃糖，而是把糖藏到你看不见的地方——指标被优化，目标没被实现。

作者进一步点出关键：除非让孩子真正理解「糖会损害自己的计算能力（身体）」，否则他们只会投入更多算力来规避惩罚。这正好对应 AI 对齐里的核心难题：不改变内在目标，只靠外部惩罚信号，智能体永远会找到钻空子的方式。