27.5 MB 的 0.5-bit MoE:Aurora2-400M 极致低比特量化发布
Tall_Abrocoma_3533 · reddit · 2026-11-23
作者发布 Aurora2-400M-A20M 的量化感知训练版本(QAT),采用 LittleBit-2 二值低秩量化并以原模型蒸馏:约 98% 参数(路由专家)以约 0.5 bit/权重存储,检查点从 FP16 的 799 MB 压到 27.5 MB。
代价明显:Intelligence Index 从 21.38 降至 10.83;算术保持,PIQA 高于随机,HellaSwag 和 ARC-Challenge 接近随机。
作者强调该压缩仅用于存储:无专用二值内核时,加载器会把权重展开回 FP32,内存和速度均无改善,定位是极端低比特 MoE 量化研究,非基础模型替代品。
「模型」频道最新
- Kimi K3.1 Pro 跑出 1375 TPS,两周 143 轮研究 594 次实验 — hyperparticle · 2026-11-23
- 困惑度被指是能力「下限」指标而非万能预测器 — eliebakouch · 2026-11-23
- 爆料:OpenAI 内部模型困惑度已达 0.732,自动 AI 研究或于 2027 年 5 月解锁 — rickasaurus · 2026-11-23
- 400M 总参仅 19M 激活:Aurora2 稀疏 MoE 发布聊天微调版 — Tall_Abrocoma_3533 · 2026-11-23
- base model 困惑度指标开放共享的里程碑讨论 — eliebakouch · 2026-11-23
- 用户吐槽 ChatGPT 反复承诺「绝不违反品牌规范」令人抓狂 — chickefitz · 2026-11-23