三星实验室开源 LittleBit:LLM 权重压至 0.1 比特仍可用

MikePFrank · x · 2026-11-23

三星实验室在 GitHub 开源了 LittleBit 项目,宣称将大语言模型权重压缩到每权重 0.1 比特(sub-1-bit)级别。技术路线:将每个稠密权重矩阵分解为低秩隐因子,对因子做二值化,再恢复幅值信息。项目包含两篇论文的官方实现:LittleBit(NeurIPS 2025)提出基于隐式分解的超低位宽量化方法,LittleBit-2(ICML 2026)进一步通过隐空间几何对齐最大化谱能量增益。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →