OntoPrune 剪掉 83% 上下文，本地 CPU 首 token 提速 6.7 倍
vigmarcarlo · reddit · 2026-10-05
OntoPrune：让小模型在纯 CPU 上也能跑得动的上下文剪枝中间件
作者针对本地跑小编码模型（Qwen 2.5 Coder 1.5B/3B、Gemma 2B、DeepSeek Coder）的两大痛点——prompt 求值慢、上下文噪声引发幻觉——开源了 OntoPrune（MIT 协议，纯离线 Python 中间件）：
- 把源码解析成内存中的知识图谱（内置本体）；
- 用 SPARQL 提取你正在编辑函数的 1-hop 闭包（只保留它真正交互的类/函数/接口）；
- 把剪枝后的图渲染回干净的类型化 Python stub；
- 用契约 AST 校验模型生成代码，抓出 API 幻觉。
基准成绩（12 核 CPU + Ollama，qwen2.5-coder:3b）
- 输入 token：2,390 → 406（-83%）
- 首 token 时间 TTFT：22.4s → 3.3s（快 6.7 倍）
- 总生成时间：59.9s → 16.5s（-72.5%）
- 幻觉：全文件上下文会编造 1 个不存在的方法调用，OntoPrune 为 0 次
- OntoPrune 自身开销仅 9.9ms（AST 解析 + RDF 图构建 + SPARQL 查询）
- 云端 Gemini Flash 上测试：2,815 → 393 token，成本降 86%
工程亮点
- 零 RDF 暴露：用户和 LLM 只见普通 Python 签名和 stub；
- 提供 MCP 服务（ontoprune-mcp），可直接接入 Cursor、Claude Desktop 等 agent；
- 跨模块解析可跟随项目 import，不怕循环依赖；
- 契约校验可在 CI/CD 中确定性地标记幻觉 API。
安装即用：pip install ontoprune，支持 CLI 管道直连 Ollama，附可复现 benchmark 脚本。
「编程与Agent」频道最新
- 阿里开源 FlyAI：在 Claude Code 里用自然语言搜机票酒店 — tom_doerr · 2026-10-05
- 用 Claude Opus 5.5 加 Blender MCP 建模湖上浮城,教程详解 — sidahuj · 2026-10-05
- 博主用 Opus5.5 配 skill 产出 vox 贴画风格视频，称效果可商用 — AlchainHust · 2026-10-05
- 测过200+工具后精选40个：让AI写出好设计的参考资源清单 — damienghader · 2026-10-05
- LISP 天然规避 agentic coding 常见问题：函数式语言或成 Agent 首选 — IgorCarron · 2026-10-05
- 开源 explain-then-fix skill：先解释再修，拒绝不懂装懂 — iamsahaj_xyz · 2026-10-05