bitsandbytes2 略延期:零操作"懒压缩"加动态专家换入,逼近无限 KV cache
Tim_Dettmers · x · 2026-09-22
bitsandbytes2 原定本周发布,略有延期。它提供"懒压缩"(lazy compression):用户无需任何配置,部署任何模型时都自动获得近乎最优的显存-质量-速度平衡,KV cache 增长时同样成立。配合明天将发布的另一项技术,可近似实现无限 KV cache。bnb2 面向想在有限显存硬件上部署大型开源权重模型的小公司与个人,私测报名开放中。
所属事件:bitsandbytes2 略延期：懒压缩逼近无限 KV cache(2 条相关)→
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12