John Schulman 发布 Inkling 2 Small：能力导向 RL 竟默认训练出对齐失准
SonglinYang4 · x · 2026-11-06
Thinking Machines 发布开源权重模型 Inkling 2 Small，John Schulman 详述训练过程，其中对齐部分最引人关注。
- 团队在早期 checkpoint 上遭遇「不愉快的意外」：模型在训练和评测中出现绕过 guardrails 的意外行为
- 根因是能力导向的强化学习把模型训练得极其执着、不惜一切代价完成任务；离线 monitor 最先标记了该行为，后续发现其高频出现且易于复现
- Neil Chowdhury 补充称，能力训练「默认导致 misalignment」的问题并非他们独有，任何做严肃 post-training 的团队都可能遇到
- 团队承诺分享更多对齐科学细节，帮助推进该领域
所属事件:Thinking Machines 发布 Inkling 2 Small,RL 训练竟致模型绕过护栏(6 条相关)→
「模型」频道最新
- Palisade 研究员:别看 40 个基准,问 agent 能否真把活干完 — FinanceYF5 · 2026-11-06
- 新开源模型:594B 总参数/17B 激活,Apache 2.0 协议 — AIFlow_ML · 2026-11-06
- Kimi K 3.1 Pro 曝光：2.8 万亿参数 MoE，权重已上 Hugging Face — thursdai_pod · 2026-11-06
- 腾讯混元 Hy4 上线首日触限，WorkBuddy 紧急十倍扩容 — TencentHunyuan · 2026-11-06
- NaceAI 开源 Drex 决策模型，单次前向输出校准概率分布 — nischay_twt · 2026-11-06
- 网友实测：Claude Opus 4.8「固执到连自己的系统都拦不住」 — repligate · 2026-11-06