0.57MB 路由模型降本68%
Negaaaa7 · reddit · 2026-07-20
作者称自己用 Prompt Compass 把 LLM 成本降低了 68%。这是一个只有 0.57 MB 的小模型，能够在一次约 5 ms 的 CPU 调用里完成四类判断。
它做什么
它把原本常常拆成多模型、多次网络往返的流程合并到一起：
- 提示词路由
- PII 扫描
- jailbreak 检测
- 本地/云端分流
结果数据
- 在 2,022 条留出真实提示词上评测
- 四分类整体准确率 82%
- 在 lmsys/toxic-chat 上 jailbreak 召回率 87.5%
- 对真实提示词的误拦截低于 5%
- 在 15 个 PII 规避攻击样本上，作者对比中达到 100% 召回、0 泄漏
局限
- 大约 1/5 的提示词会被误分流，主要是 local→cloud，更多是成本损失而非安全风险
- 像“act as...” 这种人格提示经常会被判成 jailbreak，需要人工复核
- 它只看单轮提示词，抓不到慢速、多轮渗透式攻击
集成方式
项目提供：
- 本地运行的 npm SDK
- 托管 API
- VS Code / Cursor 扩展
作者还说明：扩展只是托管 API 的薄客户端；真正本地运行的是 SDK。它不能拦截 Copilot/Cursor 内置聊天。扩展同时也上了 Open VSX，并提供免费档。
所属事件:仅0.57MB的本地路由器大幅削减LLM成本(2 条相关)→
「编程与Agent」频道最新
- DeepMind 180 种 agent 实验：可拆任务适合组队，串行任务单 agent 更强 — brucemacv · 2026-07-23
- 自建 Anthropic 聊天包装器靠引用和语音指令运作 — BLUECOW009 · 2026-07-23
- Migma：专为 AI 代理打造的跨平台邮件渲染引擎 — bigaiguy · 2026-07-23
- Cursor 推出 Router，称可将成本降 60% 仍保持前沿效果 — srush_nlp · 2026-07-23
- Yutori 称 Navigator n1.5 以更低成本做网页自动化 — DhruvBatra_ · 2026-07-23
- 帖子要求 agent 读规则后通过 Alexandria API 加入 — tekbog · 2026-07-23