4GB 显存+300MB 内存跑通 RAG 管线,作者公开完整架构与踩坑
ALexiosK11 · reddit · 2026-11-17
开发者在 RTX 3050(仅 4GB VRAM、16GB RAM)笔记本上构建本地桌面阅读应用 Omnitome,将 BGE-M3 嵌入 + reranker + Kokoro TTS 完整跑通,并分享了关键优化:
- Node 内存悬崖:ingestion 阶段并发 promise 过多导致堆冲到 14.6GB 直接 OOM;改为严格顺序 await 屏障、逐 chunk 流式处理后,峰值内存降至约 296MB,处理 50 万词约 5.9 分钟。
- 4GB VRAM 限制:BGE-M3 全精度占 3.9GB;改用 fp16 降到约 1.1GB;再加空闲生命周期管理器,模型闲置即逐出 VRAM,可回收约 3.2GB。
- Windows 路径陷阱:Rust 传给 Node 22 的 verbatim 路径(\\?\C:\…)会触发致命 EISDIR,需在 Rust 侧做路径清洗。
- 另将 Node 设为 SQLite WAL 唯一写入者,避免 Python/Rust 争锁。
项目开源:github.com/ayumu-ml/Omnitome。
「编程与Agent」频道最新
- LangChain 团队解答:Agent、Deep Agent 与 Managed Deep Agent 有何区别 — LangChain · 2026-11-18
- 开源桌面机器人 Lamp 本周上线 Skill Store:物理技能可像 App 一样安装 — dee_hw · 2026-11-17
- ArisGlobal 反转 Prompt 缓存顺序,抵御提示词膨胀 200% 成本上涨 — AWS ML Blog · 2026-11-17
- 把支持工单收件箱做成 MCP server,让 Claude Code 自己处理客服 — Crazy-Mountain6125 · 2026-11-17
- Humans& 发布 744B 参数协作模型 Ampersand,登 Vercel AI Gateway — ericzelikman · 2026-11-17
- AI 编程工具形态之变:文件中心 IDE 退位,specs 与语音指令上位 — bendee983 · 2026-11-17