开发者开源 PrefixRelay:让 Cursor 稳定复用 KV 缓存跑本地模型
jjusko20 · reddit · 2026-11-12
开发者 jackjusko 开源了 PrefixRelay,一个伪装成 OpenAI 兼容端点的代理层,专为解决 Cursor 接本地模型与低价模型的痛点:
- KV 缓存失效: Cursor 反复改写会话历史导致前缀缓存失效、重新 prefill。PrefixRelay 在后台改写响应保持前缀缓存有效,实测数千请求缓存命中率 97%+,多模态图片也不会破坏缓存。
- 副本池伪装单模型: 三块 GPU 跑三个 Qwen3-27B 实例(一编排两子 agent),Cursor 不支持自定义子 agent 模型——代理把它们呈现为单一模型名,按前缀智能路由到后端 worker,实现隐形负载均衡。
- 上下文长度与压缩: Cursor 给不认识的模型默认 200k 上下文且不可改,导致压缩不及时而报错。PrefixRelay 按每模型设定的真实上下文长度自行在后台做 compaction。
- 多端点共存与本地端点限制: 可同时挂本地+OpenRouter 多个模型自定义命名;针对 Cursor 禁止 localhost 端点,内置 Cloudflare tunnel 快速启动方案。
仓库:github.com/jackjusko/PrefixRelay
「编程与Agent」频道最新
- 哈佛开新课 CS2680:从 Claude Code 一路讲到 LLM 推理服务栈 — udmrzn · 2026-11-12
- 实测本地 vs 云端编码 Agent：MacBook、RTX 5080 与国产模型对比 — luisdans · 2026-11-12
- 判断 Agent 交互下一步的最简法则：像期待能干同事那样期待它 — andreisavu · 2026-11-12
- Agent Substrate 1.0 正式发布:每个 Agent 独立 microVM 沙箱 — rakyll · 2026-11-12
- 开发者用 Gemini Decisions API 做草图猜谜应用,烂画也能认出 — fofrAI · 2026-11-12
- Together 推出 Compiler：让智能体持续优化推理编译瓶颈 — togethercompute · 2026-11-12