eval 管线漏洞:不支持的 tool-call 响应可被算成 100% 稳定
docybo · reddit · 2026-09-04
作者在源码层面追踪到一个 LLM benchmark 评分管线的潜在缺陷:文档声明不支持 tool-call 响应,但预处理逻辑会让它们「静默消失」——OpenAI 适配器用 message.get("content") or "",null content 的 tool-call 响应变成空字符串;Anthropic 适配器只保留 text block,丢弃 tooluse block;而评分器虽排除显式错误,却接受空字符串。
结果是这类样本在评分器眼中变成字节级相同的空输出:唯一输出、完全一致、mode share 达 1.0——测到的只是 fallback 的稳定性,而非 tool call 本身。
- 作者强调这是源码推演,未在真实运行中复现;现有 request builder 从不转发 tools,已有用例到不了这条路径
- 维护者核查了全部 563 条已录制的非错误样本,均非空,已发布的 benchmark 结果未受影响
- 修复方案:拒绝携带 tools 的用例,把空的非错误 completion 标记为不支持并从成功样本中剔除
核心教训:预处理可能抹掉你想测量的行为。如果「不支持」被解析成看似合法的默认值,一个令人安心的分数可能掩盖了根本没测到的东西。
所属事件:LLM 稳定性基准被曝漏洞，tool-call 被吞可测假满分(2 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清：agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21