1.7B 模型微调成搜索子代理:答对率 50%→94%,零幻觉
MuzafferMahi · reddit · 2026-11-07
- 作者基于 LFM3-1.7B 微调出 Obsessive-1.7B(仅 1.1 GB),专职做一件事:接收事实性问题、调用一次 websearch、返回短答案 + 逐字引用 + URL,找不到就明确说 "Not found in the search results",设计为挂在大模型下的搜索子代理而非聊天模型。
固定结果基准(131 道 held-out SimpleQA,其中 29 题已从结果中删掉答案):
- 答案存在时找到率:50% → 94%
- 答案不存在时正确说 "not found":0% → 100%
- 编造答案:10% → 0%
- 中位耗时(RTX 4060 笔记本):5.1s → 2.0s
真实 Wikipedia 搜索(120 问 + 40 个多事实请求):回复率 38% → 100%,多事实请求完成 1/40 → 40/40;基座模型靠多轮搜索在原始正确数上略胜(37/120 vs 24/120),但 62% 的情况耗尽轮次什么都没返回。
已知问题:只支持单轮对话、会把转述当事实、约 1/10 实际存在答案误报 not found、偶引相邻事实、仅英文。
训练细节:LoRA rank 16,约 9k 条工具调用对话,在一台 RTX 4060 笔记本上完成;数据来自 Wikipedia 与 FineWeb 页面,每个答案和引用都验证逐字出现,约四分之一教 "not found"。已发布 HF 与 GGUF 版本,仓库含 Pi/OpenCode/Hermes 配置和无密钥 Python 脚本。
「编程与Agent」频道最新
- Uber 工程团队发文:真实部署中 securing AI Agent 的经验教训 — blaizedsouza · 2026-11-07
- 并行 coding agent 打架的三个坑:env 缺失、baseRef、端口/数据库冲突 — Independent-Sir3234 · 2026-11-07
- 开源 OpenYantra:100% 本地的 agent 记忆引擎,支持 Claude/Cursor — RevanthLevaka · 2026-11-07
- 博主把老网站整体交给 AI 运维:搬家升级、清掉 545 条死链 — sven_ai · 2026-11-07
- AI agent 代客维权:两周一双 850 迪拉姆坏鞋自动追回全额退款 — marclou · 2026-11-07
- 用户抱怨 Codex CLI 权限机制退化,不用完全授权寸步难行 — Oparis · 2026-11-07