开发者分享防幻觉研究 agent:108 条引用逐字校验,不会就答「不知道」
ApprehensiveMark1308 · reddit · 2026-11-08
一位 Reddit 开发者展示了自己构建的多智能体研究系统(supervisor → retrieval → sandbox → synthesizer → critic),核心工作不是写报告,而是阻止模型编造事实:
- 引用逐字校验:报告中每条结论必须指向抓取页面的原文片段,逐词比对,不在页面上的结论直接判失败。
- 数学进沙箱:价格、指标一律由沙箱代码计算,critic 再复算一遍,模型本身不做数学。
- 事实与假设分离:证据不足时结论标为「inconclusive」而非自信猜测。
- 先规则后 LLM:8 项规则检查先跑,再过 LLM judge,不通过则打回重写。
在 Stripe 公开页面上的测试:验证了 108 条引用、提取 60 个价格,3 个假设中 2 个因证据不足被标为 inconclusive——作者称这是最满意的结果。项目已开源(nexus-agent),并计划把 critic 模块抽成独立库,供任意 agent 传入答案与来源后逐条判定是否有据可依。
「编程与Agent」频道最新
- Agent S4:让智能体从任务经验中自进化可复用交互接口 — burkov · 2026-11-08
- 跑 50-100 个 Agent 的开发者考虑本地小模型替代 API 决策降延迟 — f1yingbanana · 2026-11-08
- PM 用 Claude 生成可交互 PRD 页面,替代没人细读的文档 — PawelHuryn · 2026-11-08
- Spacedrop 上线拖拽部署:代码拖进面板即可秒级上线 — saheedniyi_02 · 2026-11-08
- Beam 技术报告详解其「三明治架构」设计 — brandondamos · 2026-11-08
- LangChain 推异步子智能体:编排者常驻对话,长任务后台并行 — hwchase17 · 2026-11-08