bitsandbytes 作者开源运行时动态压缩:1.5-2.0 bit 高质量量化,bnb2 内测开启
PMinervini · x · 2026-09-22
Tim Dettmers(bitsandbytes 作者)开启「开源周」第一弹:发布运行时动态压缩框架,可在保持高质量的前提下把模型压到 1.5-2.0 bit,并已集成进 bitsandbytes2 库,目标是让大模型跑进更小的设备。
bnb2 即日起启动私密测试(private beta),开放有限名额的早期版本注册,附论文链接。对关注端侧部署与极致量化压缩的开发者是一次值得关注的重要发布。
所属事件:bitsandbytes2 推 1.5-2.0 bit 运行时动态压缩(4 条相关)→
「Infra」频道最新
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12
- llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU — pmttyji · 2026-11-12
- Agent Substrate 计算器：预测不同负载下 agent 会话恢复速度 — pjausovec · 2026-11-12