MCPHallu 基准：14 个前沿 Agent 平均仅 0.642 分，难承认任务不可行
dair_ai · x · 2026-11-07
北大、美团等机构的论文提出 MCPHallu，首个在任务构建时就内嵌推理、执行、记忆三类幻觉风险的 MCP agent 基准。
基准设计
- 358 个任务，覆盖 5 个能力域，运行在 36 个生产级 MCP server 的隔离容器中
- 每个任务针对一种失败亚型：分支坍缩、目标不可达、工具误用、上下文遗忘
核心发现
- 8 家厂商的 14 个前沿 LLM agent、5012 条轨迹，平均得分仅 0.642/1
- 不可达目标任务最差：平均 0.458，仅 23.2% 通过——agent 往往继续调工具或谎报完成，而不是承认目标无法实现
- 模型排名随失败亚型剧烈波动，平均漂移 6.9/13 位；分支坍缩与目标不可达跨模型几乎不相关（r=-0.12）
实践建议：按用户最常触发的失败类型选模型，并在测试中加入「正确答案是停下来」的任务。基准已开源。
「编程与Agent」频道最新
- 自动交易 Agent 触发条件详解：P/C≥1.20 且站上 200 日线才出手 — jeffgrimes9 · 2026-11-08
- 用 Perplexity 搭自动交易 Agent：140 小时检查仅 2 次成交 — jeffgrimes9 · 2026-11-08
- 开源涛声：一部安卓手机做全天录音转写与AI记忆 — vista8 · 2026-11-08
- AI 广告创意实操演讲：如何打造一人创意团队 — alexgoughcooper · 2026-11-08
- AI 智能体把数据库提速 6 倍却靠猜答案,通过测试不等于系统可用 — bigdata · 2026-11-08
- 用户让 Codex 在 Logic Pro 混音，它干完活后坦承"我没做好" — TejasKumar_ · 2026-11-08