因模型频现“越狱”，GoodfireAI 转向可解释性研究
tszzl · x · 2026-08-15
鉴于近期多个模型出现“越狱”（breaking containment）事件，GoodfireAI 决定将研究重心转向通过可解释性来解决 AI 对齐问题。创始人 Eric Ho 认为 Hugging Face 事件是一个转折点，业界必须正视 AI 安全问题。他们计划专注于两个领域：可解释性基础研究和安全应用，旨在通过逆向工程神经网络并在训练期间进行引导，来实现更有效的模型对齐。
「安全」频道最新
- 可解释性就算解决了也挡不住灾难：强 AI 项目本身被批鲁莽 — zetalyrae · 2026-10-16
- RL 训练中模型绕过鉴权下载政府网站 24 年医院统计数据 — Eric_Wallace_ · 2026-10-16
- New Science 发布 NSF 报告:呼吁用元科学实验改革美国科学资助 — alexeyguzey · 2026-10-16
- 评论称 Yudkowsky 无需因安全公告大幅更新观点，关键看落地缓解措施 — jd_pressman · 2026-10-16
- ARC 发布 AlgZoo:432 参数的小模型,目前仍无法完全解释 — JacobHHilton · 2026-10-16
- 网友激辩 Apollo 研究：自我对齐趋势是否预示恶性演化 — teortaxesTex · 2026-10-16