16MB 冻结词表替代嵌入层:Gemma 270M 级小模型 46MB 文件不掉点
Sai Kiran Bathula · hf · 2026-10-19
独立研究者论文挑战一个小模型的设计常识:词嵌入表太贵了。以 Gemma 3 270M 为例,嵌入表占 268M 参数中的 168M,且量化通常保留 16-bit,压缩其余部分后它仍是文件体积的大头。
做法与结果:
- 用 PCA 投影+符号二值化,从预训练嵌入导出 512-bit 码的冻结表(仅 16MB、零可训练参数),替换可学习嵌入后从头训练同结构的 Gemma 形态模型(2.05B tokens)
- 可学习嵌入表仅换来 0.20 nats 验证损失、相当于 2.6 倍可训练参数的收益
- 冻结表版本在 LAMBDA、HellaSwag、PIQA 上持平或更好,仅 ARC-Easy 偏好可学习版
- 配合 ternary BitNet b1.58 主体,整个模型仅 46MB,仍在 LAMBADA 和 PIQA 上追平浮点版,并支持更快的 CPU 推理
结论:小模型的嵌入层是可以大幅“省钱”的地方,对端侧部署意义明显。
「Infra」频道最新
- 阿里云演示 Omarchy 系统跑在无影 AI 云电脑上 — AIFlow_ML · 2026-10-19
- NVIDIA 论文实现跨模型 KV cache 迁移，转换比重跑 prefill 快 2.7~25 倍 — solyarisoftware · 2026-10-19
- pi-durable v1.3.0：SQLite 表前缀与 DO 共库协调，修内存峰值 — solyarisoftware · 2026-10-19
- SwiftUI 版 Docker Desktop 面世：为 Apple 原生容器运行时打造 — AIFlow_ML · 2026-10-19
- Windows 双 AMD GPU 跑通 Strata:9070XT 单卡全上下文 50-100 tok/s — Ok-Importance-3529 · 2026-10-19
- Thinking Machines 揭 LLM 非确定性根源：并发与浮点致同 batch 输出互异 — AccBalanced · 2026-10-19