本地 RAG 问答桌面应用复盘：引用校验与幻觉检测的五条实战经验
FreakFrakFrok · reddit · 2026-11-07
开发者发布了 Windows 桌面应用 ScrapeVantageAI Desktop（已上架微软商店），可对本地 PDF、文档和幻灯片做问答，并总结了五条工程经验：
- 本地索引、只传证据：文件在用户机器上解析和嵌入，提问时只有相关片段（带文件名和页码）离开设备，隐私叙事清晰且每个回答都指向具体页。
- 引用标记 ≠ 验证：初版把 [n] 标记当「已验证」，实际模型引用很随意，礼貌性客套话也被算成已验证声明。修正方法：每条声明只对照它自己引用的片段判定，客套话不计为声明。
- 「无凭据」检测器对框架性语句误报：在 85 个真实输出中 6 个标记全是误报，排除「以下是最终方案…」类框架句后降到 1，而注入的虚构内容检出率不变。
- 正则无法区分诚实留白和虚构：「待定测试集」和「待聘外部审计师」句式相似，于是加了一个只复核已标记句子、只能撤销不能新增标记的小型 LLM 裁判：手工标注集上批准 10/12 诚实留白、0/12 伪装虚构，单次约 0.4 秒。
- 长任务不得阻塞用户：文件夹索引中曾会卡死聊天，现在索引与聊天状态解耦，可对已索引内容提问。
所属事件:独立开发者复盘本地文档问答 AI 应用的五条教训(2 条相关)→
「编程与Agent」频道最新
- 开发者按任务分层用模型:网页检索用 Haiku,编码与审查留给 Opus/Sonnet — 4310sy · 2026-11-07
- AI 编程 CAM 工具 Steve Studio 即将集成 Camlib,可自动拒绝危险 G-code — Kyrannio · 2026-11-07
- Springrod 力推「Code mode」:LLM 该写程序而非逐个调用工具 — springrod · 2026-11-07
- 网友把 Codex 变成远程 DJ：Computer Use 控 studio，MCP 接自制 VST3 — Yamapama · 2026-11-07
- 厂商倒闭thermal打印机成砖三年,AI agent 20 分钟写驱动救活 — billyjhowell · 2026-11-07
- macOS CI 每分钟 $0.16，一台 Mac Mini 10 天回本：CI 定价或暴跌 50% — gajesh · 2026-11-07