开源工具 jevcache:模型决策结果缓存,重复调用零成本零延迟
JiliJeanlouis · x · 2026-09-20
一个叫 jevcache 的开源工具,主打「决策只算一次,永久记住」:按 (model, schema, state) 对模型决策做记忆化,同样的决策不再重复推理或计费。
核心卖点:
- 成本:agent 的决策中 60–80% 是重复的(循环、重试、幂等工具调用),缓存命中成本为 $0,演示称 100 万次调用中约 78.4 万次走缓存。
- 确定性:同一输入返回同一答案,可在 CI 或离线环境回放,不受模型版本漂移影响。
- 可共享:缓存可以发布,团队其他人可基于同一份缓存查询,通过文件或托管索引共享。
- 延迟:本地命中约 0ms,进程内返回,无网络往返。
工具为约 2MB 的单二进制,通过 curl -fsSL jevcache.sh/install | sh 安装,在本地用你自己的 key 和账单运行,只上传哈希值。单次调用示例:jev-1 模型 184ms 收费 $0.000042,第二次起走缓存免费。
「编程与Agent」频道最新
- Y Combinator 合伙人:VM 方案或让浏览器 harness 路线过时 — MurrLincoln · 2026-09-20
- 用 Codex 遥控本地 Comfy 工作流，回归者盘点主流图像模型 — mccoypauley · 2026-09-20
- AI Engineer 演讲:有决策权才是智能软件,人只坐审批岗 — ccerrato147 · 2026-09-20
- TypeSafe 发布 Jev：用类型化校准决策替代 RLHF 目标 — ccerrato147 · 2026-09-20
- 聪明的软件不是流程图挂聊天机器人，而是节点会思考的流程图 — ccerrato147 · 2026-09-20
- 为什么每个 LLM 都需要人审？因为是我们亲手把它放进环里的 — ccerrato147 · 2026-09-20