三星开源 LittleBit:0.1 比特压缩 13B 模型到不足 1GB
CurieuxExplorer · x · 2026-10-09
三星开源 LittleBit，一项可将 13B 参数 LLM 压缩到 1GB 以内的极端低比特量化方法（NeurIPS 论文）。
- 不存标准数值权重，而是用隐式因子分解（latent factorization）把权重压到 sub-1-bit，部分配置达到 0.1 bits/weight，仍优于 0.7-bit 方法。
- 架构层面更激进：压缩到这种程度后可以不做浮点乘法，核心计算被替换成 bitwise XOR（符号翻转），把复杂矩阵运算换成基础位运算。
- 据称带来 11.6x 推理加速，13B 模型可跑在 0.9GB 内存内，作者称"内存墙被移动了"。
所属事件:三星开源 LittleBit：0.1 比特量化压 13B 模型至 1GB 内(3 条相关)→
「Infra」频道最新
- 同款 GPU 加拿大贵两成:出「蒙特利尔溢价」,H100 每小时贵 23% — RichardsonDx · 2026-10-09
- Supabase 大更新：收购 Turso，让编码智能体接管后端搭建 — glcst · 2026-10-09
- Epoch AI：AI 推理成本每季降 47%，比电力时代快 54 倍 — Jsevillamol · 2026-10-09
- 推理需求是行业性还是巨头专属？多万亿问题的关键分歧 — matt_slotnick · 2026-10-09
- 12GB 显存跑 Qwen3.8 量化版：解码 20-30 tok/s，131k 上下文 — bodhi371 · 2026-10-09
- 前 Intel CEO 对谈 a16z：AI 建设将卡在内存、封装与能源瓶颈 — a16z · 2026-10-09