OpenRouter 推理商缓存命中率十个月内大幅优化,规模图示行业进步
AccBalanced · x · 2026-11-05
转发 PeterJWalker 的数据图：OpenRouter 生态中各家推理提供商的 agentic 缓存命中率在约 10 个月里显著提升。图中每个气泡代表一个推理商，横轴为缓存命中率，纵轴为服务 token 量，气泡大小为所服务模型数量，整体呈现出明显的优化趋势。
「Infra」频道最新
- SGLang Summit 11 月旧金山开幕：2000+ 工程师，NVIDIA/AMD/阿里等公开生产实战 — ying11231 · 2026-11-05
- SGLang 两度入选 GitHub Octoverse 2026 Top10：增速第7、活跃度第6 — ying11231 · 2026-11-05
- LoopVQ 实现 0.25bit KV 缓存量化,吞吐提升最高 6.1 倍 — SeoulNationalUniv · 2026-11-05
- Hark 分享基于 SGLang 与 KubeRay 的多模态数据清洗与 GPU 编排实践 — tianyin_xu · 2026-11-05
- 开源 hunch：本地小模型蒸馏大模型，CPU 毫秒级判断每百万 token 不到 3 美分 — aigclink · 2026-11-05
- SpaceX 拟 2027 年底部署首批轨道 AI 数据中心，2028 年规模化 — mitchdeg · 2026-11-05