CMU 教授实测：Google 前沿模型医疗护栏仍可轻松绕过
conitzer · x · 2026-09-18
Vincent Conitzer(CMU 教授)发文指出,当前前沿 AI 系统的安全护栏依然非常脆弱,基础性进展甚少。
- 他用一个虚构症状组合(脖子发痒、脚上红斑)的提示词,就轻松绕过了 Google 模型的医疗建议护栏;类似提示还能诱导出更糟的输出,因此他未公开具体 prompt。
- 他强调这不是粗心的小公司,而是一贯重视安全的 Google——问题在于目前没有人真正知道如何让这些系统保持安全。近期甚至有研究成功训练模型"自我越狱"(附 arXiv 论文)。
- 他还提出一个观点:从能力较弱的旧模型中学到的规律往往适用于更强的模型,他所用的提示词正是基于对更老、更弱模型的研究;但业界普遍认为研究非前沿模型是浪费时间,这种氛围是错误的——只是大家没留足够时间去做。
所属事件:CMU教授实测谷歌模型医疗护栏可被轻易绕过(2 条相关)→
「安全」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- 寒武纪联合创始人陈云吉呼吁中美头部模型共用统一 AI 伦理校验标准 — pstAsiatech · 2026-11-02
- Vitalik 提「后 AI 密码学」：假名已死，逐次匿名当立 — devanshmehta · 2026-11-02
- ChatGPT 悄悄为你建了档案：6 个提示词查看并清除它的记忆 — Aiden_Tech_Ai · 2026-11-02
- 从业者爆料：关键基础设施公司安全审计惨败仍拖延整改 — thedealdirector · 2026-11-02
- 瑞典超市智能冰箱遭网络攻击，大规模食物腐坏 — Polymarket · 2026-11-02