RLM 思路走红:把上下文移出 prompt,RLM-27B 比基线高 26.9%
dosco · x · 2026-11-22
一篇关于 RLM(递归语言模型)训练方法的解读引发讨论,核心要点:
- 常见 harness 把全部历史追加进单个 prompt,模型要应对训练时从未见过的长上下文,表现随之劣化;
- RLM 的做法是把上下文放在 prompt 之外,对其写代码,再把小块内容交给子调用——每次 LLM 调用都保持「局部在分布内」。仅用短任务训练即泛化到 2–64 倍长的任务,并能迁移到结构相似的新领域;
- 关键技巧是 surrogate harness training:用假工具调用、假子 agent 的廉价合成环境训练编排器,避免昂贵的真实 rollout;
- 结果:RLM-27B 在相关评测上比 base Qwen3-27B 高 26.9%。
评论者补充:attention 机制决定了上下文塞得越多模型越「笨」,常规解法只能是更大更贵的模型,RLM 提供了另一条路。
「编程与Agent」频道最新
- Gemini Neon 解析锁竞争:交互式 UI 演示 16 核测试机掩盖 128 核生产事故 — tianyin_xu · 2026-11-22
- Claude Code 卡权限等待 14 分钟?现在可以用 iPhone 一键批准 — BLCNYY · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- instant_record 把 Rails 模型编译进浏览器,820ms 首行、离线可用 — danshipper · 2026-11-22
- 客户自己主动内部演示 AI 工具,才算真正的落地成功 — aryanXmahajan · 2026-11-22
- 开源 AI 桌面陪伴应用 Animama:3D 动漫形象、可版本化记忆文件 — kavidy · 2026-11-22