不用框架手搓个人 RAG:小模型判据、本地模型写作、逐句溯源
ghumare64 · x · 2026-10-02
Rohit Ghumare 分享了一个可复现的个人 RAG 工作流:把「检索判断」与「写作」拆给不同模型,避免一个模型既写又自评。
架构与流程
- 语料:作者自己的 70 篇文章/指南(52 篇文章 + 18 篇指南),切成 836 个 chunk
- 检索:nomic-embed-text(ollama)+ numpy 余弦相似度,取 20 个候选段落
- 判断:Jev(TypeSafe /v1/systemone 端点)负责小型结构化判断——决定是否检索、筛选哪些段落真正有用
- 写作:本地 qwen3 8B(ollama,8k 上下文,关闭思考)基于最佳 5 段生成答案,每句带引用
- 校验:Jev 逐句核对引用与原段落,不成立时升级处理
实现细节
- 全部用 Python 3.12 标准库 + numpy,共 10 个短文件,零 agent 框架
- 每个阶段记录耗时与成本:Jev 各阶段约半秒;在 Apple Silicon Mac 上实测
- 演示含故意设错前提的问题,展示目标段落如何从第 15 位升至第 1 位
核心思路:让小而快的判断模型负责「yes/no」式决策,生成模型只管写,分工带来更可靠的引用校验与透明的成本追踪。
「编程与Agent」频道最新
- GitHub 1.8 万星免费 Harness Engineering 课程：14 讲+8 实战项目 — Hesamation · 2026-10-02
- 安全通告里的 void* 指针:AI 正在翻 Linux 内核旧代码 — mircomusolesi · 2026-10-02
- A2A 协议声量高落地少：多数团队仍停留在评估阶段 — Diarnstinc_Crew_6510 · 2026-10-02
- Cloudflare Sandbox SDK 1.0 发布:Durable Object 直接管控沙箱容器 — threepointone · 2026-10-02
- 录课口误喊暗号，让 Codex 自动剪掉重录片段 — JeremyNguyenPhD · 2026-10-02
- 开源 ComfyUI 插件：一键加载 Civitai 工作流并自动补齐缺失模型 — Zealousideal-Bee-300 · 2026-10-02