验证 MCP 漏掉 9000mg/日用药错误,开发者公开征集对抗测试者
Practical_Green5775 · reddit · 2026-10-19
Reddit 用户 PracticalGreen5775 开发了一个开源 MCP,用于独立验证 AI 生成输出的正确性,首个场景是合成医疗数据。开发者在验证过程中发现工具漏掉了一个严重错误:AI 给出的对乙酰氨基酚处方总量高达 9000 mg/日,验证流程没有核算用药频次,却仍然返回了「通过」的安心结论。
作者正在修复该问题,同时公开征集 5 名开发者,在修复完成后用对抗性场景测试这个 MCP,尝试打破其验证工作流,并讨论大家如何处理「自信但缺乏证据支撑」的 AI 回答。
「编程与Agent」频道最新
- Lex Fridman 中文导航站开源:一条命令构建 506 个静态页 — vista8 · 2026-10-19
- Lex Fridman 中文站正式上线:网站与开源仓库一同公布 — vista8 · 2026-10-19
- 506 期 Lex Fridman 播客全整理:本地 ASR 转写配上中文精读 — vista8 · 2026-10-19
- 马斯克转发:Grok 机器人打电话订餐厅,确认后才拨号 — elonmusk · 2026-10-19
- 用任意 LLM 免重训搭建带校准的决策模型,附 Colab 实操 — kalyan_kpl · 2026-10-19
- Melony 给 Claude Managed Agents 套上免费团队共享聊天界面 — DarasStayHome · 2026-10-19