RLHF 研究者 Nat Lambert:RL 正在「烤干」模型多样性
natolambert · x · 2026-11-23
Hugging Face 研究者 Nathan Lambert 在回应对 RL 训练的讨论时表示认同:「RL 正在把它们烤干,降低多样性」——指强化学习后训练可能收敛模型输出分布,牺牲行为与风格多样性。这是对当前后训练范式副作用的一个值得关注的判断。
「模型」频道最新
- Bittensor 子网 92 号称产出 200 倍速于 LLM 的 JEV 决策模型 — markjeffrey · 2026-11-23
- 在 M2 MacBook 上跑本地模型,能实时看推理全过程 — vboykis · 2026-11-23
- 物理学家称其私有黎曼猜想研究被 Claude 独立复现结论 — bdsqlsz · 2026-11-23
- 实测 pi 适配器让 Qwen 3.8 27B 工具调用减少 4 倍、提速一半 — Fabulous_Pollution10 · 2026-11-23
- Pedro Domingos:OpenAI 承认预训练能力自 2022 年来几乎没进步 — pmddomingos · 2026-11-23
- Inkling-2-Mini 单卡本地跑出 KernelBench-Mega 10.04x,超越多家旗舰 — ziqiao_ma · 2026-11-23