BF16 模型无损压至 12bit，Together 推出 NyoomFloat12 高效推理

MaleManlpulator · x · 2026-11-07

AlpinDale 展示了将 BF16 模型无损压缩到 12 bit 的成果，基于 Together AI 的 NyoomFloat12。由于没有硬件原生支持这一 dtype，团队做了大量工程优化以保证运行效率。

帖子附带有人提问为何不推广到 FP32。