Meta 论文揭示强化学习优化代码的陷阱与解法
rohanpaul_ai · x · 2026-08-01
Meta 的新论文指出，将强化学习直接用于代码优化通常会失败，因为运行时间是一个稀疏且充满噪声的信号，简单粗暴的奖励机制往往会损害代码的正确性。
作者提出必须协同重新设计整个反馈链路：
- 基础设施：扩大测试规模，使用校准过的远程执行服务来获取准确时间。
- 奖励机制：引入基于人类解决方案的相对排名，并采用以正确性为门槛的二元奖励。
- GRPO 算法改进：通过增加每个提示的采样数、扩大批次、移除组方差归一化以及丢弃过时的时间数据，来稳定零优势批次下的训练。
在完整重建这套流程后，Qwen 2.5 7B 模型在 top-50% 速度阈值下的表现从 18.0% 显著提升至 31.3%。
「研究」频道最新
- MIT AI 模型解码细胞通信语言，瞄准再生医学 — emmanuelvivier · 2026-10-16
- 视觉预训练模型做触觉预测有多难?机器人研究者激辩跨模态迁移 — KyleMorgenstein · 2026-10-16
- Tsallis 熵正则化最优 transport 统一 Monge 与 Sinkhorn 两大框架 — FrnkNlsn · 2026-10-16
- EPFL/DeepMind 研究者将线上讲解 Simplex Diffusion Models 论文 — ArnaudDoucet1 · 2026-10-16
- 美团 LongCat 团队发布 Data World：合成数据环境训练数据智能体 — meituan-longcat · 2026-10-16
- FDE-Gym 基准曝光 AI 交付最后一英里：前沿模型得分最多 0.56 — DeepLethe · 2026-10-16