16 MB 冻结词表替代嵌入层,小模型缩到 46 MB 仍不掉点
pmttyji · reddit · 2026-10-21
arXiv 论文《Embeddings Are Overpriced?》指出小模型的最大参数大头在词表嵌入:Gemma 3 270M 的嵌入表占 268M 参数中的 168M,且量化后仍保持 16-bit。
方法:用 PCA 投影 + 符号二值化,把嵌入替换为一张 512-bit 编码的冻结 16 MB 词表,零可训练参数,再从头训练同形状的模型主体。
结果:
- 可学习词表多花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善;冻结表在 LAMBADA、HellaSwag、PIQA 上持平或更好,仅 ARC-Easy 落后
- 配合 ternary BitNet b1.58 主体,整个模型仅 46 MB,笔记本 CPU 上以 62 MB 内存跑出 615-740 tokens/s,比 float 模型 8-bit GGUF 快 5-6 倍、内存仅 1/7
- 罕见词上冻结表赢 1.7-2.3 nats;训练后可新增 1 万词仅损失 3%,而可学习词表崩掉 43%
- 权重、数据、全部评测答案均已开源(GitHub/HuggingFace)
「Infra」频道最新
- NVIDIA 转向本地 AI 叙事：DGX Spark 可八机集群共享 1TB 内存 — ryanshrout · 2026-10-21
- Agent 沙箱公司 Daytona 宣布 B 轮融资：定位「agent 执行层」，Meta 曾用其跑 Llama 后训练 — mattturck · 2026-10-21
- Anthropic 联创：token 降价千倍需求也只会涨千倍 — gabriel1 · 2026-10-21
- 中国对美出口 1730 台单晶炉,SemiAnalysis 拆解马斯克 20GW 电力计划 — rickasaurus · 2026-10-21
- 黄仁勋柏林 GTC 推即插即用数据中心 DSX Pod,瞄准欧洲 AI 算力短板 — Wired AI · 2026-10-21
- Google Cloud 一个入口同时提供 OpenAI、Anthropic、Google 三家旗舰模型并支持热切换 — rseroter · 2026-10-21