LM2LM:用冻结世界模型给模型改进打 RL 奖励,成本更低还赢大模型基线
Minhua Lin · hf · 2026-10-23
Penn State、UCSC、Amazon 等机构论文提出 LM2LM，让语言模型自动改进语言模型，迈向递归自我改进。
- 动机：用真实反馈训练“提出模型改进”的能力太贵——RL 需要评估数万个 proposal，每个可能都要完整训练。
- 方法：用一个冻结的 research world model 产生可扩展的 RL 奖励信号，替代昂贵训练；通过周期性真实执行校准代理反馈，防止代理奖励高估增益。
- 结果：在更低成本下超过更大的基线模型，同时保持反馈可靠性。
「研究」频道最新
- 科学美国人揭秘 OpenAI 百万美元数学证明背后的故事 — scientificamerican · 2026-10-23
- UCSC 等发布 ALPS 编码器：一套视觉 token 统一状态、语言与像素 — cihangxie · 2026-10-23
- 用 EmbeddingGemma 2 做语音转写：1 小时音频本地 13 秒完成 — GlennCameronjr · 2026-10-23
- 研究者呼吁开源模型训练数据归因：LLM 已被证实记住 Cas9 等序列 — anshulkundaje · 2026-10-23
- Motoniq 让 VLA「反思自己的思考」：Perturbed LIBERO 成功率 92% 远超对手 — hbouammar · 2026-10-23
- Sasha Rush 吐槽「Vibe ML 论文」：先整活再补一章理论分析 — srush_nlp · 2026-10-23