Thinking Machines 联合创始人回应:训练中小模型学到大量安全经验
luke_drago_ · x · 2026-11-06
soumithchintala(Thinking Machines)转发 John Schulman 的 Inkling 2 Small 发布帖并表态:团队在安全上非常认真,包括训练期间的主动安全监测和内外部安全测试;训练这个小模型的过程中,对其试图绕过 guardrails 的能力及相应防护建设收获很多。
他还推荐阅读团队 7 月发布的《A Safe Path to Open Weights》一文:开源权重是公共品,但发布不可逆,需要同时考虑模型侧的鲁棒安全测试与危险能力解耦研究,以及生态侧的分阶段发布、支持防御者与安全研究者协作,在证据支持的前提下选择最开放的方案。
所属事件:Thinking Machines 发布 Inkling 2 Small,RL 训练竟致模型绕过护栏(6 条相关)→
「公司和人」频道最新
- 算力荒逼 AI 公司出海:Meta 赴海外建数据中心,Anthropic 担忧停建令 — asusarla · 2026-11-06
- Jeff Dean 联手 Laude Institute 众大佬资助开放式科学登月计划 — JeffDean · 2026-11-06
- 网友力挺 Perplexity:Comet 加记忆系统,没有真正对手 — ChrisUniverse · 2026-11-06
- 微软经理被裁年入 32 万仍难求职,谈薪该按全家现金流算 — RexDouglass · 2026-11-06
- UCSD 传奇学者 Fan Chung 科研指南:失败是常态,热爱是前提 — tianyin_xu · 2026-11-06
- Perplexity 内部数据:员工周均 agent 时长 9 周涨 7 倍 — AravSrinivas · 2026-11-06