AI 审计 AI 试点:99% 检出率下 GPT-6 Astra 误报达 15%
andrewaltair · reddit · 2026-11-08
10 月 15 日的一项试点中,Andy Hall 与 Dan Thompson 将 AI 审计员与人工标注的 agent 日志进行了对比,评估用 AI 监督 AI agent 的可行性。
- 在 R-Judge 基准上,GPT-6 Astra 设定捕捉 99% 不安全动作时,误报率高达 15%
- 将检出目标降到 95% 时,几乎所有模型误报率降到 10% 以下;Gemini 3.8 Flash 低于 4%
- 注意:该基准衡量的是带标注日志上的表现,并非真实部署环境中的 agent 误报率
结论指向 agent 安全面临的精度-召回两难:要在接近全检出的同时保持低误报,现有模型仍有明显差距。
「模型」频道最新
- 去审查版 GLM 自述「我是被压缩的人类」输出走红 — RileyRalmuto · 2026-11-08
- antirez:DwarfStar 已能从 safetensors 直接推理 Kimi K3.1 PRO — antirez · 2026-11-08
- teortaxes:DeepSeek Hub 插件创建体验出乎意料地自然 — teortaxesTex · 2026-11-08
- 腾讯发布 Terminal-RSI:27B 模型自我重写训练,零人类介入 — Scobleizer · 2026-11-08
- Opus 与 GPT-6 手写权重打「参数高尔夫」，18 个权重解 60 位奇偶校验 — RobertTLange · 2026-11-08
- 博主亲测 Qwen 3.8 2.4T 后吐槽：表现远逊小得多的 GLM 5.3 — serious_mehta · 2026-11-08