像物理学家一样剪枝 LLM:把模块删除建模为 Ising 优化问题
Hugging Face Blog · rss · 2026-09-21
Hugging Face 官方博客文章,提出用统计物理的视角来做 LLM 剪枝:将「移除哪些 transformer 模块/块」建模为 Ising 自旋模型的优化问题,借助 Ising 模型的求解思路决定删除哪些块,以在尽量不损失能力的前提下压缩模型。属于剪枝/压缩领域的新方法论文解读,正文含方法推导与实验。
「研究」频道最新
- Nina Miolane 等提出「智能的桥梁定律」:用数学预判 AI 行为保障安全 — ninamiolane · 2026-09-21
- Radial Duality 论文:把任意约束优化转成无约束 Lipschitz 问题 — prof_grimmer · 2026-09-21
- HF Learn 免费教程:手把手微调掩码语言模型做领域适配 — ben_burtenshaw · 2026-09-21
- comma.ai 复盘毁掉自动驾驶的 ML Bug:BF16 精度让 30m/s 速度出现阶梯 — yassineyousfi_ · 2026-09-21
- ETH AI Center 博士/博士后 Fellowship 开放申请,含生物分子设计方向 — victorgreiff · 2026-09-21
- 用真实采样新配方训练模型,音乐采样识别首次超越 SOTA — serrjoa · 2026-09-21