呼吁建立面向Agent工作流的幻觉专项基准测试
maksym_andr · x · 2026-07-06
研究者认为现有幻觉基准如HalluHard未充分覆盖Agent使用场景，建议建立专门的Agent幻觉基准，将大模型置于Claude Code、Codex CLI等SOTA脚手架下进行评测，以反映真实部署中的幻觉行为，同时需要解决内容真实性锚定的歧义问题。
他认为HalluHard作为模型间幻觉倾向排名仍有价值，但需要配套更贴近实际使用场景的基准来完整评估，这是当前Agent评测体系的重要缺口。
「模型」频道最新
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 网友发现 Claude 疑似上线专用翻译界面 — BLCNYY · 2026-10-26
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26