Nvidia 新论文:让 LLM 稀疏化提速,95% 静默神经元可被跳过
YesThisIsLion · x · 2026-09-14
转发内容介绍 Nvidia 与研究者的新论文:LLM 前馈层中约 95% 的神经元对任一给定词完全静默,模型本身天然稀疏,但现代 GPU 为密集矩阵运算设计,不规则的稀疏内存访问反而导致更慢,管理空隙的开销吃掉了节省。
论文提出自定义稀疏化方案,证明 transformer LLM 可以同时做到更稀疏、更快、更小,且不损失精度,模拟大脑按需激活神经元的效率方式。
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30