Google Deep Review 实测:35 页基准规范被揪出 36 处缺陷
ChrisUniverse · x · 2026-10-18
开发者 ChrisUniverse 试用了 Google DeepMind 新推出的 Deep Review,原本以为是泛泛的 AI 同行评审式报告,结果它像苛刻的 NeurIPS 主席一样,把其 35 页的私有基准规范彻底拆解:
- 推导出线性项与指数项之间 9x–27x 的惩罚不对称,会导致排名反转
- 用鸽笼原理证明了采样规则的漏洞(2 个互斥速率下 30 次运行不足所需的 40 次)
- 抓出零方差 bootstrap bug,以及 97.5 与 95 分位数的不一致
- 标记了沙箱清理阶段的 TOCTOU 竞态窗口
总计发现 36 处规范缺陷:6 处 Critical、14 处 Major、10 处 Minor,外加 6 条建议。作者评论:大家都在测代码,但没有人像 Deep Review 这样对错误的数学做红队测试。
所属事件:实测谷歌 Deep Review:像苛刻评审般揪出 36 处缺陷(2 条相关)→
「编程与Agent」频道最新
- 实测:Claude Code 约 37% 消息是伪造的思考摘要,模型自己都不认 — Sauers_ · 2026-10-18
- 把 agent 协作做成「召唤恶魔」仪式:网友发布暗黑风 agent TUI — voidwalker_com · 2026-10-18
- 治 Claude Code 跑偏妙招:维护 DOMAIN_INVARIANT.md 领域不变量文件 — 0xkarasy · 2026-10-18
- NVIDIA 柏林 Build-a-Claw 活动直击：Agent 与机器人齐亮相 — Hesamation · 2026-10-18
- Reason Network 开源发布：让团队里的 Claude Code 与 Codex 互相派活 — TianbaoX · 2026-10-18
- 面向 Substack 创作者的 MCP Server 上线:草稿、笔记与订阅分析一条龙 — modelcontextprotocol · 2026-10-18