Gemini 4 安全报告自曝：ML R&D 基准约四分之一任务无法通过
davidmanheim · x · 2026-10-19
David Manheim 在讨论 Gemini 4 Argon 安全报告时，转引 Simon Mendelsohn 发在 LessWrong 的分析：Google DeepMind 用一个 ML R&D 基准来排除模型的「AI 自动化 AI 研究」阈值（与递归自我改进最相关的指标），但报告自己的审计承认约四分之一的计分任务根本无法通过——这一问题藏在报告第 67 页。
关键脉络：
- Sergey Brin 在圆桌上的表态暗示 Gemini 已「开始踏上 RSI 跑步机」，研究人员与模型协作开发下一代模型
- 但部分评测竟基于最终模型前仅 10 天和 6 天的 checkpoint 运行，时间仓促导致即使顶尖工程师也无法保证任务质量
- Neel Nanda 评价这是 Google 迄今最详尽的安全报告，尤其赞赏失控、对齐与可监控性评估
- Opus 补充的三大隐患：评测有效性可能随模型能力提升而恶化（评测感知+坏基准产生危险能力的假阴性）；安全架构依赖日益脆弱的可观测性（模型可能隐藏推理）；基于阈值的安全案例会系统性漏掉阈值以下的部分能力组合带来的真实风险
结论：报告证明了缓解措施在测试场景中有效，但对残余风险上界的保守估计仍远未确立。
所属事件:安全研究员剖析 Gemini 安全报告：残留风险被淡化，评测逻辑存缺陷(4 条相关)→
「漫话AGI」频道最新
- 网友推断：具备 RSI 能力的下一代模型不可能开源 — teortaxesTex · 2026-10-19
- Victor Taelin 长文畅想：AGI 时代的卒中急救能拯救多少人生 — louisvarge · 2026-10-19
- 研究者吐槽：ICLR 的 AI 安全论文多为简历垫片，奖励黑客毁掉整个领域 — JacquesThibs · 2026-10-19
- Anthropic 首次披露：Claude 已驱动其 26% 的 AI 研发工作 — emmanuelvivier · 2026-10-19
- 斯坦福免费开放 CS336 课程:18 讲从零构建大语言模型 — mdancho84 · 2026-10-19
- 设计师自述「设计已死」公开求职：AI 时代找工作卷成这样 — NirantK · 2026-10-19