呼吁建立面向Agent工作流的幻觉专项基准测试
maksym_andr · x · 2026-07-06
研究者认为现有幻觉基准如HalluHard未充分覆盖Agent使用场景，建议建立专门的Agent幻觉基准，将大模型置于Claude Code、Codex CLI等SOTA脚手架下进行评测，以反映真实部署中的幻觉行为，同时需要解决内容真实性锚定的歧义问题。
他认为HalluHard作为模型间幻觉倾向排名仍有价值，但需要配套更贴近实际使用场景的基准来完整评估，这是当前Agent评测体系的重要缺口。
「模型」频道最新
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用户呼声下 DeepSeek V4 Pro API 宣布继续服务,计费不变 — teortaxesTex · 2026-09-11
- 第三方实测:DeepSeek V4.1 Flash 达 GPT-6 Astra 98% 分,成本仅 1.4% — ayushtweetshere · 2026-09-11
- TheZhi 发起调查:Fable 5.1 与 Astra 发布后,编码模型选择变了吗 — TheZvi · 2026-09-11
- antirez 谈 Anthropic 禁止未成年人使用 Claude — antirez · 2026-09-11
- Engram 随机读取不适合 SSD，CPU 内存低延迟共享或成正解 — bookwormengr · 2026-09-11