三星开源LittleBit：13B模型压到1GB，0.1比特权重
dr_cintas · x · 2026-11-16
三星开源了名为 LittleBit 的极端量化方法，可将 130 亿参数 LLM 压缩到 1GB 以内。其核心是用潜因子分解把权重压到低于 1 比特，部分配置可低至每权重 0.1 比特。
更激进的是计算层面的改造：压缩到这个程度后大部分浮点乘法被消去，核心运算改用简单的按位 XOR（符号翻转）完成，重度矩阵乘法变成轻量操作。
实测收益：推理比标准 FP16 快最多 11.6 倍，内存和带宽占用大幅下降；且在低于 0.5 比特时仍能保持效果，而旧的压缩方法在此区间已彻底失效。作者认为这是在廉价低功耗硬件上本地运行大型模型的一条路线图。
「Infra」频道最新
- SGLang Summit 旧金山开幕：一天 23 场 session 中国开发者扎堆 — ying11231 · 2026-11-16
- EPYC 32 核加 44GB 显存跑本地大模型，还有必要自建吗？ — sitytitan · 2026-11-16
- 权重指纹分析：中国头部模型被指用受限 Blackwell GPU 训练 — elie · 2026-11-16
- 三星拟投19亿美元在奥斯汀为星链卫星造芯片 — elonmusk · 2026-11-16
- 黄仁勋被传谋求回归英伟达 CEO,Musk 与 Sweeney 联名声援 — The Verge AI · 2026-11-16
- 开源 ComfyUI 节点可把文本编码器卸载到另一台 GPU — randomlyfixed · 2026-11-16