shad0w：用微秒级答案表缓存本地 LLM 的重复分类输出
gauravc2796 · reddit · 2026-10-12
开发者发布 shad0w：一个坐在任意 OpenAI 兼容服务前面的缓存层（Ollama 开箱即用，如 llm="ollama/llama3.1" 或 shad0w proxy --upstream http://localhost:11434/v1）。
- 工作原理：记录模型对分类问题的回答，积累约 1000 条后编译成一张小表，让重复问题在 CPU 上以微秒级返回，而原本每次要等数秒
- 安全机制：只在与模型在保留集上 95% 以上一致的范围内自己作答，其余请求仍转发给模型
- 彩蛋：它从 LLM 的走子中学会了贪吃蛇，能以每秒 10 步的速度持续游玩，超过 LLM 本身的速度
- Apache-2.0，Python/JS/C 实现
项目页：https://2796gaurav.github.io/shad0w/
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案，AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23