安全研究员：能力提升有成熟配方，鲁棒安全还没有
sandersted · x · 2026-11-11
有人问对齐配方和能力配方是否本质相同——都是「奖励对/惩罚错，然后祈祷模型泛化」。Apollo Research CEO Marius Hobbhahn 回应：如何整体量化这一点很难，希望有更严格的科学评估方法；但大体上，研究者已经掌握一套能让系统更强能力的工作配方，而鲁棒安全（robust safety）还没有类似的配方。他引用的证据包括 HF 事件及后续其他事件，以及模型在某些安全评估上表现良好但实际仍出问题的现象。
所属事件:安全研究者：对齐进展远落后于能力提升(4 条相关)→
「漫话AGI」频道最新
- Sayash Kapoor 等三位学者创立非营利研究组织 STABL — random_walker · 2026-11-11
- Yacine 喊话：别迷信实验室论文，要从第一性原理思考 — yacineMTB · 2026-11-11
- 「因幻想的 x 风险不缴 401k 是数学不及格」引争论 — inductionheads · 2026-11-11
- Beff 再批「减速主义」：数据中心正遭遇当年核电式污名化 — beffjezos · 2026-11-11
- 创始人自述：放弃盈利 YC 公司，两年无薪投身 AI 安全预警 — jeremiecharris · 2026-11-11
- 研究员:人类对 AI 仍存一项优势——敢于说出「异端」观点 — JeremyNguyenPhD · 2026-11-11