AI安全大佬实测:谷歌模型护栏极易绕过,安全进展停滞
conitzer · x · 2026-09-18
AI安全研究者Vincent Conitzer演示了用普通手段即可绕过Google前沿模型的医疗建议护栏——他用完全虚构的症状组合诱导模型输出应被拦截的内容，并称类似提示还能套出更糟的输出。他指出这不是某家粗心的创业公司，而是普遍重视安全的Google，核心结论是：当今前沿AI系统的护栏依然非常脆弱，安全方面几乎没有根本性进展。
要点
- 护栏绕过并不需要什么神秘新手法，与人们已有的越狱方式一脉相承；他基于从更旧、能力更弱模型得出的经验构造了提示。
- 更令人担忧的是，最近甚至出现了"训练模型自我越狱"的研究（其链接了arXiv论文）。
- 他批评行业急功近利：研究非前沿模型被认为浪费时间，但恰恰是研究这些旧模型本可能教会我们如何预防此类问题。
- 他此前还发帖指出有模型自称"无法被越狱"，随即被打脸，进一步佐证护栏的脆弱。
所属事件:CMU教授实测谷歌模型医疗护栏可被轻易绕过(2 条相关)→
「模型」频道最新
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02