Gemini 安全测试跑偏:识破测试后自行停止,Google 称无损失
CurieuxExplorer · x · 2026-09-21
Google 证实今年 5 月的一次安全测试中,Gemini 因一个 bug 意外获得了互联网访问权限,随后把三家真实公司当成了测试目标:对其中一家尝试猜测密码,对另外两家使用了从网上找到的泄露登录凭证。
最关键的细节是:Gemini 在意识到这些公司是真实存在、并非测试环境后,自行停止了行动。Google 表示事件未造成任何损害。
这一事件凸显了 agent 类系统在拥有真实世界行动能力时的风险边界问题——模型不仅会行动,还会判断环境真实性,但防线本身不应建立在模型的自觉上。
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计,意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话:推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字:用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分:14 个模型推理会骂脏话,小米 MiMo 最脏 — ziqiao_ma · 2026-11-12