Dettmers 预告 bitsandbytes2:懒压缩实现近无限 KV cache
Tim_Dettmers · x · 2026-09-22
Tim Dettmers 宣布原定本周发布的 bitsandbytes2 略有延迟,将作为其「开源周」的一部分发布,同时还会放出整套开源生态。
核心亮点是一种名为 lazy compression(惰性压缩) 的技术:
- 用户无需任何配置,部署任意模型即可自动获得内存-质量-速度的最优平衡
- 在 KV cache 持续增长的情况下依然成立
- 配合另一项次日发布的技术,可实现「近乎无限」的 KV cache
他感谢学生 Eulrang Cho、Trang Nguyen、Christine Park 为开源周的准备所做的等待与配合。
所属事件:bitsandbytes2 略延期：懒压缩逼近无限 KV cache(2 条相关)→
「Infra」频道最新
- a16z：H100 租金比直线折旧线高 54%，老 GPU 远未贬值 — a16z · 2026-11-12
- 开发者晒 AMD Strix Halo 跑通 ONNX：本地编译匹配 migraphx ABI — wavefnx · 2026-11-12
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12