Thinking Machines 联合创始人回应:训练中小模型学到大量安全经验

luke_drago_ · x · 2026-11-06

soumithchintala(Thinking Machines)转发 John Schulman 的 Inkling 2 Small 发布帖并表态:团队在安全上非常认真,包括训练期间的主动安全监测和内外部安全测试;训练这个小模型的过程中,对其试图绕过 guardrails 的能力及相应防护建设收获很多。

他还推荐阅读团队 7 月发布的《A Safe Path to Open Weights》一文:开源权重是公共品,但发布不可逆,需要同时考虑模型侧的鲁棒安全测试与危险能力解耦研究,以及生态侧的分阶段发布、支持防御者与安全研究者协作,在证据支持的前提下选择最开放的方案。

所属事件:Thinking Machines 发布 Inkling 2 Small,RL 训练竟致模型绕过护栏(6 条相关)→

原文链接 →

「公司和人」频道最新

更多「公司和人」频道 AI 资讯 →