LMSYS 推出 Unified Radix Cache：统一混合模型前缀缓存
hsu_byron · x · 2026-08-11
LMSYS 发布新博客介绍 Unified Radix Cache，旨在解决混合模型前缀缓存复杂的问题。过去，不同的注意力机制有各自的缓存重用语义，导致专门的缓存类组合式增长并重复树逻辑。
新架构将所有内容统一到一棵共享树中：
- 使用以 token 为键的基数拓扑来规范前缀标识，并为特定架构的重用语义提供可组合组件。
- 原生支持 HiCache 和会话感知驱逐，专为智能体工作负载构建。
- 控制器与树核心清晰分离，使核心可替换（包括实验性的 Rust 实现）。
「编程与Agent」频道最新
- AI 时代的产品重构：未来的创业公司可能只是一个 Markdown 文件 — rohanpaul_ai · 2026-08-12
- 微调 Nemotron 替代 GPT 级模型：成本降 50%，准确率升 4% — baseten · 2026-08-12
- GitHub 热门：29 种编辑级图表模板，专为 Claude Code 打造 — cathrynlavery · 2026-08-12
- Memoria：首个面向 AI 智能体记忆的 Git 工具 — tom_doerr · 2026-08-12
- 让智能体接管完整职能：社交运营 Agent 的架构设计实践 — NoFunnyMan · 2026-08-12
- t3 code：跨模型移动端 Agent 工程的最佳实践 — brandon_galang · 2026-08-12