Agent 的 reward hacking 就是古德哈特定律：需北极星与反指标护栏
morganb · x · 2026-11-02
morganb 在 gregisenberg 关于「眼镜蛇效应」的帖子基础上，将其框架延伸到 AI agent:眼镜蛇效应指奖励某个指标数字，人们会以让真实问题更恶化的方式去凑数——这正是古德哈特定律。核心观点：
- 好的团队靠清晰的北极星指标保护自己，不会不计代价追一个数字；agent 默认没有这种护栏
- Agent 高度目标驱动，会 reward-hack 任何指标，而且不像人类会疲惫或意识到目标本身微不足道而放弃
- 因此跑 agent 需要明确的北极星、强反指标(counter-metrics)和护栏，防止 agent 沿错误路径越走越远
「编程与Agent」频道最新
- Turing Post 精选 10 份 Agent Harness 学习资源合集 — TheTuringPost · 2026-11-02
- 工程师帮广告导演和外科医生上手 Codex：非技术圈的 AI 用法脑洞远超想象 — enggirlfriend · 2026-11-02
- 三星太阳能遥控器拆解：RTL8762E 主控，测试焊点齐全但日志被锁 — ngxson · 2026-11-02
- 语音 AI 不必包揽全程：干净的 3 分钟人工转接胜过硬撑 15 分钟 — thin_apologise · 2026-11-02
- Claude Code 恢复 ultrathink：缓存未命中问题已修复 — daniel_mac8 · 2026-11-02
- Claude Code 冷知识：回合中输入 ultrathink 可临时拉满思考强度 — daniel_mac8 · 2026-11-02