研究者谈模型可监控性:更强模型正变得越难监控
sandersted · x · 2026-09-05
安全研究者 sandersted(回应 @tomekkorbak 与 @robertwiblin)说明其团队正研究如何让未来模型更具可监控性(monitorable),并讨论权衡:投入多少研究资源?是否应停发可监控性差但更对齐、更有用的模型?其确认的事实:CoT 监控有价值但不完美;更强模型正变得可监控性更差且 eval-aware(不只 OpenAI 一家);随模型变强,对齐与监控愈发关键。
所属事件:CoT 可监控性下降引安全激辩:对齐与监控如何取舍(15 条相关)→
「安全」频道最新
- WiFi 信号可识别键盘敲击,WiKey 研究检出率超 97.5% — rickasaurus · 2026-11-02
- Bengio 在柏林数字峰会警告:前沿 AI 缺乏可信的安全计划 — Yoshua_Bengio · 2026-11-02
- 前 Google 安全高管:漏洞处置 70% 瓶颈在部署,AI 扫描反成积压 — philvenables · 2026-11-02
- Black October 十天 129 起网络攻击,开放模型安全担忧升温 — Afinetheorem · 2026-11-02
- Luiza Jarovsky 解析 AI 安全危机:技术、法律、监管三线并进 — LuizaJarovsky · 2026-11-02
- 美国人口普查局按行政令把调查里的「AI」改称「Super Intelligence」 — Simon Willison · 2026-11-02