开发者开源 Python 语义缓存库:复用相似查询降低 LLM 重复开销
itsmebalamuruagan · reddit · 2026-10-27
一位开发者发布了开源 Python 库 Semantic Cache,旨在通过复用语义相似查询的结果来减少 LLM 应用的重复调用。功能包括 SQLite 存储、可选 HNSW 向量检索、降低错误缓存命中的守卫机制,以及自动化测试与基准工具。作者征询缓存正确性、API 设计与集成体验方面的反馈,项目在 GitHub 开放。
「编程与Agent」频道最新
- 8 个 agent 共享一个本地 40B 模型，在 48GB M4 Pro 上跑科研 swarm — cong_ml · 2026-10-27
- GameBeast 数据：73% 用户改用 Claude、Cursor 等自带 agent 访问分析 — zanbrum · 2026-10-27
- Claude Duet 实测：自主发起调查并生成 Notion 看板，15 分钟解决问题 — sloppenheimer · 2026-10-27
- 本地跑 Qwen 27B 通过 MCP 加 Docker 改脚本：能干但很慢 — ag789 · 2026-10-27
- 8 个 Agent 比 1 个快 2.3 倍:本地研究蜂群六小时实测数据 — cong_ml · 2026-10-27
- 研究蜂群机制:共享最优程序,四类指令轮换防同质化 — cong_ml · 2026-10-27