医疗 agent 怎么验收?药剂师发问:看系统记录还是 agent 自述
UnfairGuide3995 · reddit · 2026-10-28
一位在读药剂师在 Reddit 上发起关于医疗场景 AI agent 测试的讨论:当 agent 声称「已标记药物相互作用并联系了开方医生」时,如何验证它真的做了?他引用一篇论文(arXiv 2605.10448)指出,某零售 agent benchmark 的 77% 通过率在只统计「有系统记录佐证」的运行后降到约 71%,说明 agent 自述与实际执行存在差距。
他提出四个问题:评分依据系统最终记录还是 agent 汇报;如何构造隐藏问题的真实测试用例;最难的环节是数据、评分还是专家写用例;自建测试还是用外部供应商。
「编程与Agent」频道最新
- Avalon-M1 用集体奖励 RL 训练 LLM 组建 Agent 组织,平均分 33.5%→45.7% — RobertTLange · 2026-10-28
- 沙特创作者用 GPT 的 MCP 串联 Halo 与 Runway 产出图文视频作品 — aziz4ai · 2026-10-28
- 用 opencode 驱动 Qwen 模型成功 Root LG 电视,清除间谍广告软件 — Switchboy1 · 2026-10-28
- Clawifi MCP 服务器让 agent 读网页省 75% token,基准跑赢 Firecrawl 和 Tavily — atakanelik34 · 2026-10-28
- 亚马逊 EMMA 论文：把多智能体配置当情景记忆，从失败中自我进化 — omarsar0 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28