27.5 MB 的 0.5-bit MoE:Aurora2-400M 极致低比特量化发布

Tall_Abrocoma_3533 · reddit · 2026-11-23

作者发布 Aurora2-400M-A20M 的量化感知训练版本(QAT),采用 LittleBit-2 二值低秩量化并以原模型蒸馏:约 98% 参数(路由专家)以约 0.5 bit/权重存储,检查点从 FP16 的 799 MB 压到 27.5 MB。

代价明显:Intelligence Index 从 21.38 降至 10.83;算术保持,PIQA 高于随机,HellaSwag 和 ARC-Challenge 接近随机。

作者强调该压缩仅用于存储:无专用二值内核时,加载器会把权重展开回 FP32,内存和速度均无改善,定位是极端低比特 MoE 量化研究,非基础模型替代品。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →