用长CoT做RLHF替代数学RL:Llama-3.1-8B仅14K样本胜GPT-4o
xiye_nlp · x · 2026-10-01
AdithyaNLP 团队将在 COLM 2026 以海报形式展示其新研究:用长思维链(longCoT)配合奖励模型做 RLHF,而不是常见的数学/代码 RL,让模型「先思考再聊天」。
核心结果:
- 基于 Llama-3.1-8B-Instruct,仅用 14K 训练样本;
- 在聊天与创意写作上超过 GPT-4o;
- 在 AlpacaEval2 与 WildBench 上甚至超过 Claude-3.7-Sonnet (thinking)。
作者表示后续会继续分享「让 LLM 从非语言数据中学习」的相关工作。
「模型」频道最新
- Qwen4 Max 实测:Agent 自动化比肩 GPT-6.1,难 SWE 仍落后且更贵 — haider1 · 2026-11-16
- Nous 高管提醒:勿用 GPT 900k 变体,272k 后加收费用 — Teknium · 2026-11-16
- 爆料称 Gemini Argon 与 Carbon 均为 12T 参数大模型 — oran_ge · 2026-11-16
- Qwen4 Max 对比 GPT-6.1 Sol:同为高推理档,单价 $0.0909 vs $0.132 — Angaisb_ · 2026-11-16
- FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶 — rickasaurus · 2026-11-16
- Teknium 提醒:勿用 900k 版 GPT 模型,272k 上下文后额外计费 — Teknium · 2026-11-16