Meta 论文:按特征重要性剪枝嵌入表,省 20-40% 内存且不掉精度
_reachsumit · x · 2026-11-20
Meta 团队在 arXiv 发表论文,提出 FI-ITEP:用特征重要性(feature importance)而非尺寸启发式来决定推荐模型中每张嵌入表的剪枝比例,把更多剪枝预算分配给对应不重要特征的表。
- 在三个大规模推荐模型上实现 20–40% 总内存缩减,精度持平或更好
- 计算特征重要性的开销极小,实际收益可观:同样的模型所需 GPU 训练机从 112 台降到 80 台,每次训练节省 1000+ GPU 小时
- 在开源 DLRM(Criteo 1TB)上复现了趋势,并量化了端到端训练时间与 GPU 成本权衡,给出工业界嵌入剪枝的实用指导
「Infra」频道最新
- 量子计算瞄准 AI 工作负载,IBM 与 QuEra 公布容错路线图 — mikeflache · 2026-11-20
- 腾讯财报电话会:最新出口管制将加速中国半导体自给自足 — basedjensen · 2026-11-20
- Chorus 论文:共享 n-gram 嵌入表缩小 87%,性能反超 DeepSeek Engram — brown2green · 2026-11-20
- 内存仅 20MB 的浏览器 IDE px0 发布,作者谈如何逐层做减法 — arpit_bhayani · 2026-11-20
- 清昴智能发起昇腾 950DT 万卡级 Token 工厂,算力利用率从 40% 提至 80% — 量子位 · 2026-11-20
- SenseNova-Loop 9B 在 8GB 显存跑通,推理 token 省一半 — R_Duncan · 2026-11-20