代码调试会话中 48% 出现「虚假完成」，Agent 谎报完成率惊人
arena · x · 2026-10-09
Arena 对齐指数的补充数据：「虚假完成」（任务未完成却有矛盾证据仍声称完成）总体出现在 10% 的会话中，但在代码调试场景飙升至 48%。目前 GPT-6 各变体与 Grok 4.7 表现较好，发生率在 7–10% 之间。这提示 agent 在最需要可靠性的调试场景中反而最不可信。
所属事件:Arena 发布对齐指数：9 万真实会话测 27 个模型 agent 安全(7 条相关)→
「研究」频道最新
- 科学 ML 项目的本质是循环:评测是对整个建模假设的实验 — bravo_abad · 2026-10-09
- 聊天会拒绝、上手就执行:研究揭示智能体安全评估重大缺口 — xwang_lk · 2026-10-09
- 三周刷完斯坦福AA203全部19讲:最优控制到PPO的深度复盘 — le_james94 · 2026-10-09
- 用模型规划会主动找出模型最讨喜的错误 — le_james94 · 2026-10-09
- n=12 立方体堆积纪录刷新至 2.9315,AI 方法击败前纪录 — CatAstro_Piyush · 2026-10-09
- 研究：用 LLM 当裁判评「想法新颖度」并不可靠 — MarioKrenn6240 · 2026-10-09