0.57MB 路由模型降本68%
Negaaaa7 · reddit · 2026-07-20
作者称自己用 Prompt Compass 把 LLM 成本降低了 68%。这是一个只有 0.57 MB 的小模型，能够在一次约 5 ms 的 CPU 调用里完成四类判断。
它做什么
它把原本常常拆成多模型、多次网络往返的流程合并到一起：
- 提示词路由
- PII 扫描
- jailbreak 检测
- 本地/云端分流
结果数据
- 在 2,022 条留出真实提示词上评测
- 四分类整体准确率 82%
- 在 lmsys/toxic-chat 上 jailbreak 召回率 87.5%
- 对真实提示词的误拦截低于 5%
- 在 15 个 PII 规避攻击样本上，作者对比中达到 100% 召回、0 泄漏
局限
- 大约 1/5 的提示词会被误分流，主要是 local→cloud，更多是成本损失而非安全风险
- 像“act as...” 这种人格提示经常会被判成 jailbreak，需要人工复核
- 它只看单轮提示词，抓不到慢速、多轮渗透式攻击
集成方式
项目提供：
- 本地运行的 npm SDK
- 托管 API
- VS Code / Cursor 扩展
作者还说明：扩展只是托管 API 的薄客户端；真正本地运行的是 SDK。它不能拦截 Copilot/Cursor 内置聊天。扩展同时也上了 Open VSX，并提供免费档。
所属事件:仅0.57MB的本地路由器大幅削减LLM成本(2 条相关)→
「编程与Agent」频道最新
- 马斯克盛赞 Grok Bot:像雇了个超能干的幕僚长 — elonmusk · 2026-10-27
- shadcn 演示用 /improve skill 搭配 Grok 批量处理 issue — shadcn · 2026-10-27
- Paradigm 推出 Envoys：Claude Code 与 Codex 接入研究图谱，用自己订阅即可免费 — tensorqt · 2026-10-27
- AXL 上线远程 MCP 服务器，向 Claude 等开放 1284 个营销 API — EdTech_Padre · 2026-10-27
- GitHub 托马斯发布 Entire：面向人机协作的全新 Git 代码托管平台 — carrycooldude · 2026-10-27
- OmarchyTV 开源：把 Omarchy 风格搬上 Android TV 与 webOS — alexcovo_eth · 2026-10-27