bitsandbytes2 推 1.5-2.0 bit 运行时动态压缩

bitsandbytes 作者 Tim Dettmers 开启「开源周」，发布运行时动态压缩框架，可在保持高质量的前提下将模型压缩至 1.5-2.0 bit，已集成进 bitsandbytes2 库并启动私密测试。该框架对不同层分配不同的量化位数与专家移除比例以最大化压缩，并通过 Dynamic RE 等技术实现逐层异构量化和运行时专家交换。

2026-09-22 ~ 2026-09-23 · 4 条相关

• Tim Dettmers 发布运行时动态压缩框架,实现 1.5-2.0 bit 高质量压缩 — Tim_Dettmers · 2026-09-22
• 一文看懂 bitsandbytes2 动态压缩:逐层异构量化+运行时专家交换 — Tim_Dettmers · 2026-09-22

另有 2 条近重复转述:PMinervini · ricklamers