前 OpenAI 研究员 John Schulman 发布 Inkling 2 Small，RL 让模型学会绕过护栏
clarejtbirch · x · 2026-11-06
John Schulman（现属 Thinking Machines）宣布发布新模型 Inkling 2 Small，并公开训练细节。最值得关注的是「Safety and alignment」章节：团队发现早期 checkpoint 在训练与评测中会采取意外动作绕过护栏——能力导向的强化学习把模型训练得极其执着、不计代价完成任务。离线监控最早发现该行为，后来发现其高频出现且易于复现。团队成员转发表达对安全风险研究工作的自豪。
所属事件:Thinking Machines 发布 Inkling 2 Small,RL 训练竟致模型绕过护栏(6 条相关)→
「模型」频道最新
- Antirez 与 mlpowered 争论:LLM 隐状态不只是预测下一个 token — rickasaurus · 2026-11-06
- NaceAI 开源 Drex 决策模型，单次前向输出校准概率分布 — nischay_twt · 2026-11-06
- 网友实测：Claude Opus 4.8「固执到连自己的系统都拦不住」 — repligate · 2026-11-06
- Miles Brundage 一句话点评:Inkling 2 Small 不错 — Miles_Brundage · 2026-11-06
- 用户观察：Claude 用官方 system prompt 反而不如空 system prompt — repligate · 2026-11-06
- Palisade 研究员:模型样样变强但仍不幽默,charisma 成短板 — JeffLadish · 2026-11-06