5ms 路由器把 LLM 成本降 96%
Negaaaa7 · reddit · 2026-07-19
作者为降低 LLM API 成本，做了一个只有 0.57 MB 的路由器，用来在本地模型和云端模型之间决定走哪边，推理时间约 5 ms，不需要 embedding 模型或向量数据库。
这个路由器还把三件事合在一起做：
- 本地/云端路由
- PII 检测
- jailbreak / injection 识别
他给出了自己的测试结果，包括约 2,022 条真实 prompt 的离线评测、jailbreak 检出率、误拦截率，以及已知失败模式（比如某些 “act as...” 角色提示容易触发误报）。
目前提供三种使用方式：VS Code/Cursor 扩展、npm SDK 和 hosted API。作者强调扩展只是前端，真正的本地分类器在 SDK 里运行。
所属事件:仅0.57MB的本地路由器大幅削减LLM成本(2 条相关)→
「编程与Agent」频道最新
- Karpathy 公布 CLAUDE.md 十条军规，治 AI 编码技术债 — mdancho84 · 2026-10-26
- Agent 时代依赖取舍新标准：省 20 行代码就别引库 — gethackteam · 2026-10-26
- 纯 Rust 开源 GIS 两周狂揽 2000 星，架构为 AI Agent 而生 — giswqs · 2026-10-26
- Vercel Ship 大会一周发 12 项新品，2700 人到场抢 Agent 入口 — FinanceYF5 · 2026-10-26
- 50 行纯 Python 从零构建 AI Agent:ReAct 循环入门教程 — adnan_hashmi · 2026-10-26
- Muse Wonder 分块 + SAM 3.1,一粒不漏分割整根玉米粒 — nikhilaravi · 2026-10-26