合成数据定向训练 Qwen3.8-27B:RLM 长任务均分 30.5→58.5
a1zhang · x · 2026-11-20
a1zhang 公布训练结果:用 Claude Opus 5.5 生成的全合成任务(部分含假子调用)对 Qwen3.8-27B 做 surrogate harness 训练。朴素 RL 难以泛化到更长任务,而针对性 harness 训练使相对性能提升约 26%。表中 RLM-27B(synthetic) 在八个长任务基准(LongReason、LooGLE、CTC、BC+、OOLONG、CorpusQA、OBLIQ、ELB)平均达 58.5,远超 base 的 30.5 与 RL(short tasks) 的 48.5;同设置下 Qwen3-30B-A3B 平均从 22.6 升至 25.0。
所属事件:MIT 论文:LM Harness 是组合泛化器而非弱模型拐杖(10 条相关)→
「编程与Agent」频道最新
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- DeepMind 展示 Gemini 4 Neon 按勃朗峰真实地形写滑雪模拟器 — GoogleDeepMind · 2026-11-21
- pstack v0.15.46 更新:skills 精简、Gemini 加入评审面板 — petrusenko_max · 2026-11-21
- Hamel Husain 力挺 evals 心法:好流程远胜好工具 — HamelHusain · 2026-11-21
- Databricks Genie One 通过 MCP 把受管数据接入 ChatGPT 与 Claude — Wise_Ear_4064 · 2026-11-21
- 开源项目 acmdthat:进程内本地 AI 生成 CLI 命令 — ex-ex-pat · 2026-11-21