bitsandbytes2 略延期:零操作"懒压缩"加动态专家换入,逼近无限 KV cache
Tim_Dettmers · x · 2026-09-22
bitsandbytes2 原定本周发布,略有延期。它提供"懒压缩"(lazy compression):用户无需任何配置,部署任何模型时都自动获得近乎最优的显存-质量-速度平衡,KV cache 增长时同样成立。配合明天将发布的另一项技术,可近似实现无限 KV cache。bnb2 面向想在有限显存硬件上部署大型开源权重模型的小公司与个人,私测报名开放中。
所属事件:bitsandbytes2 略延期：懒压缩逼近无限 KV cache(2 条相关)→
「Infra」频道最新
- Unsloth 量化让 Qwen-Image-2.1 仅需 6GB 显存本地运行 — danielhanchen · 2026-09-23
- H Company 用 SkyPilot 训练 computer-use 模型,沙盒秒级冷启动 — skypilot_org · 2026-09-23
- MiniMax H3 上跑 M5 Ultra 实测：768p 视频约 2 分 22 秒生成 — bakawolf123 · 2026-09-22
- Cisco 预测：Agentic AI 将令企业流量十年增长 9 倍 — Beth_Kindig · 2026-09-22
- Cloudflare 全套餐支持 HTTP 缓存规则中的 Vary 头 — threepointone · 2026-09-22
- 训练时跳过故障阶段:1% 故障率下损失几乎不掉 — covenant_ai · 2026-09-22