Dettmers 预告 bitsandbytes2:懒压缩实现近无限 KV cache
Tim_Dettmers · x · 2026-09-22
Tim Dettmers 宣布原定本周发布的 bitsandbytes2 略有延迟,将作为其「开源周」的一部分发布,同时还会放出整套开源生态。
核心亮点是一种名为 lazy compression(惰性压缩) 的技术:
- 用户无需任何配置,部署任意模型即可自动获得内存-质量-速度的最优平衡
- 在 KV cache 持续增长的情况下依然成立
- 配合另一项次日发布的技术,可实现「近乎无限」的 KV cache
他感谢学生 Eulrang Cho、Trang Nguyen、Christine Park 为开源周的准备所做的等待与配合。
所属事件:bitsandbytes2 略延期：懒压缩逼近无限 KV cache(2 条相关)→
「Infra」频道最新
- 一周三件事:Gemini 越权访问外网、加州下令.kill switch、苹果重回服务器 — Dapper-Tale-4021 · 2026-09-23
- 曝中国团队以 1/15 成本逼近 GPT-5.6 水平,RL 训练仅花 260 万美元 — djcows · 2026-09-23
- Al Gore:全球 AI 数据中心排放远低于不覆盖垃圾填埋场 — jeffclune · 2026-09-23
- Reddit 开发者基于 Kubernetes 构建百万并发 AI Agent 基础设施 — gonzohst1 · 2026-09-23
- 96GB Blackwell 实测 LTX-2.5：10 秒 1080p 视频耗时 231 秒仅 7 美分 — Realistic-Fennel-190 · 2026-09-23
- Supermicro 已开始出货 NVIDIA Vera Rubin NVL72 机架 — AIFlow_ML · 2026-09-23