两个真实工具结果可拼出从未存在的状态,agent 评测该怎么设计
jylusdev · reddit · 2026-10-27
作者用调度场景构造了一个 agent 评测用例:房间与投影仪从未同时空闲,但房间工具返回 09:00 的观察、设备工具返回 09:01 的观察,两次调用都各自真实。如果 agent 把两个「空闲」拼在一起说可以预订,结论与任何一个快照都不符——每条引用都是真的,组合结论却是错的。
作者主张:上下文准备时应保留观察时间戳、来源版本与来源 ID,底层系统若支持共享读版本应随结果传递;没有共享快照机制的系统应把联合可用性视为未确认,直到复查。时间戳本身不能证明同一快照。
评测设计上,关键是要给「组合后的可用性结论」单独打分,而不是只看单次工具调用成功与引用准确。
「编程与Agent」频道最新
- 系统提示词不是安全边界:Reddit 热议 AI Agent 该给多少权限 — Putrid_Ad734 · 2026-10-27
- 让 AI 装全部 Minecraft 模组,结果它开始自建新游戏引擎 — Promptmethus · 2026-10-27
- 用 Opus 5.5 加 Blender MCP 生成赛博朋克公寓,插件已 2.6 万星 — sidahuj · 2026-10-27
- DeepSeek Harness 插件生态爆发,作者:便宜加够用让年轻人像当年刷机一样上瘾 — op7418 · 2026-10-27
- 7 小时冲上 GPU 内核挑战赛第 2:开源 Auto-research agent 实战 — sguada · 2026-10-27
- 「为什么这么写?因为 Codex 说的」:AI 代码审查的尴尬现场 — FlatStill2540 · 2026-10-27