RLVR 训练只奖励单任务得分:模型不在乎代码长期可维护性,得靠人来管
bendee983 · x · 2026-11-22
kunchenguid 提出并被广泛认同的观点:所有用 agent 写代码的人都该内化这一点——当前前沿 LLM 的 RLVR 后训练是在任务级别做的,模型不会关心长期可维护性。
要点:
- 模型默认写大量无用注释和测试用例,因为它们不影响当前任务的成功率,却拖累未来任务的效率——这种行为在训练中「存活」下来成了模型习性。
- 要等后训练能奖励长期可维护性恐怕很难,因为衡量它本质上是个缓慢且昂贵的过程。
- bendee983 补充:AI 模型(尤其是 RLVR 训练的推理模型)只为最大化奖励而生,没有长期视野、不在乎开发者体验、不知道一年后谁维护这段代码——这些都是工程师的责任。
- 解决办法不是自己写代码,而是人在 harness 层(更好的指令细节、prompts、skills、lint 规则)引导模型,在技术选择不完美时替它看远几步。
「漫话AGI」频道最新
- Kenneth Stanley 拆解黎曼猜想证明:印证「伟大不能被计划」 — kenneth0stanley · 2026-11-22
- Kasparov 谈 AI 证黎曼猜想:暴力搜索不需要像人类一样思考 — stevenstrogatz · 2026-11-22
- 菲尔兹奖得主 Tim Gowers 现身伦敦「反对 AI 灭绝」游行并发言 — birchlse · 2026-11-22
- 卫报调查:与 AI 伴侣分手的真实创伤——发抖、哭泣、呼吸困难 — TobyWalsh · 2026-11-22
- 华盛顿邮报:AI CEO 傲慢脱节、公众情绪转向,行业面临形象危机 — GaryMarcus · 2026-11-22
- Google 研究员调侃:未来菲尔兹奖将颁给「让最强 AI 花一万亿 token 才解出的问题」 — denny_zhou · 2026-11-22