从 Scaling Laws 到 Downscaling Laws：剪枝 43% 保留 70% 性能且零重训
Tanmoy_Chak · x · 2026-10-11
团队继 ICML 2025 立场论文呼吁建立「降规模定律」后，在 EMNLP 2026 发布实证论文，对十个 LLM 做了系统剪枝实验，给出两大关键发现：
- 损失的碳成本：损失每降低 10%，碳排放增加 4–8 倍——按现有 scaling 曲线继续加大模型的环境代价极高。
- 剪枝的可预测性：剪掉 43% 的模型仍保留 70% 性能，且完全无需重训练。
核心论点：scaling laws 只告诉你更大的模型能买到什么，却没有人给出更小的模型要付出什么代价；扩大规模昂贵且不可控，而缩小规模是可预测的。「Downscaling laws」有望成为效率研究的理论框架。
「研究」频道最新
- DeepMind 气象模型提前 11 天精准预报飓风 Isaias 路径与强度 — joao_gante · 2026-10-12
- 模型自食输出会先丢稀有知识，几代后漂移成胡话 — TejasKumar_ · 2026-10-12
- 斯坦福论文用 CNN 直接预测 S&P 500 走势,挑战量化金融指标传统 — mdancho84 · 2026-10-12
- Paradromics 脑机接口让失语者用「想象语音」重新开口交流 — PeterDiamandis · 2026-10-12
- OpenAI 疑似"故意少给答案"？学者热议 AI 时代去中心化加速学术 — IgorCarron · 2026-10-12
- CSCW2026 主题演讲：AGI 时代应研究人机协作与机器人协作 — merrierm · 2026-10-12