DeepMind 论文实测:不许直接看图,Gemini 漏检率从 86.7% 跌到 14.3%
nukebuddy · reddit · 2026-11-22
Reddit 帖解读 DeepMind 的 Multimodal Knowledge Agent 技术报告中的一个道路巡检案例,说明「让 Agent 真正打开图片」有多重要:
- 任务:Gemini 4 Carbon 需从书面巡检记录中找出遗漏缺陷并生成成本表格。允许直接查看图像时,每次运行都能发现路面坑洞;被禁止直接看图后,它退化到用 OCR、OpenCV 甚至把照片转 ASCII 字符画,结果每次都漏掉坑洞
- 同一模型同一配置的对照:难er 指标上得分从 86.7% 暴跌至 14.3%,且不能看图的版本反而多用了 2.2 倍输出 token;全基准上该降幅约 6 个百分点,偏文本/表格的 GDPval 总分几乎不变
实用启示:审查 Agent 对扫描件/图纸的工作时,要求它「指出页面上的实际证据」——一份看起来有说服力的表格,可能建立在残缺的源信息阅读之上。
「编程与Agent」频道最新
- Reddit 热议:AI Agent 的决策需要「过期时间」,而非更大上下文 — Elvantime · 2026-11-22
- ianand 在 AI Engineer 大会演讲解读一篇论文及其翻车场景 — js_craft_hq · 2026-11-22
- 时区不一致让 Agent 流水线静默漏跑:毫无报错,只因「无事可做」 — fantomkoenig · 2026-11-22
- llms.txt 协议两年普及:Google Antigravity 等产品开始采用 — jeremyphoward · 2026-11-22
- 他为戒掉刷 X 做「只有 Agent 能看」的信息流:无 UI、按语义匹配 — imdogefather · 2026-11-22
- Claude Code 上线实验性 Code Mode:让 AI 写代码串工具省上下文 — lxfater · 2026-11-22