bitsandbytes 作者开源运行时动态压缩:1.5-2.0 bit 高质量量化,bnb2 内测开启
PMinervini · x · 2026-09-22
Tim Dettmers(bitsandbytes 作者)开启「开源周」第一弹:发布运行时动态压缩框架,可在保持高质量的前提下把模型压到 1.5-2.0 bit,并已集成进 bitsandbytes2 库,目标是让大模型跑进更小的设备。
bnb2 即日起启动私密测试(private beta),开放有限名额的早期版本注册,附论文链接。对关注端侧部署与极致量化压缩的开发者是一次值得关注的重要发布。
所属事件:bitsandbytes作者发布1.5-2.0 bit动态压缩框架(3 条相关)→
「Infra」频道最新
- DeepSeek 弹性算力论文曝光：单套系统 160 节点日供 300 万沙箱 — zephyr_z9 · 2026-09-23
- llama.cpp 合并为 Gemma 26B A4B 优化 flash attention 形状 — jacek2023 · 2026-09-23
- 开源本地 AI 应用层 SAFi：接 llama.cpp 即可给企业交付私有部署 — forevergeeks · 2026-09-23
- Claude Opus 5.5 登陆 AWS Bedrock:更省 token、降价并首次带安全分类器 — AWS ML Blog · 2026-09-23
- Ben Bajarin 推出付费专家访谈：从天然气到吉瓦级 AI 供电 — BenBajarin · 2026-09-23
- umbrelOS 2.0 发布：把家里的小电脑变成你的私有云 — JosephJacks_ · 2026-09-23