一次训练全局重要性排序：Transformer 按算力预算动态剪枝
cgmsnoek · x · 2026-10-15
研究团队提出「弹性 Transformer」方法：在冻结权重的前提下，一次性学习覆盖所有 MLP 神经元与注意力头的重要性排序，推理时即可按任意计算预算剪掉最不重要的单元，无需重训练。
- 在 22M 到 8B 参数的 27 个视觉与文本编码器上验证，性能在最高 60% 稀疏度内平滑下降
- 例如将 DINOv3 ViT-H+/16 剪到 50% 稀疏度，移除 427M 参数，ImageNet 精度仅降 0.8%
- 意义：单一预训练模型可适配多种硬件与延迟约束，省去维护多个固定尺寸模型的成本
所属事件:阿姆斯特丹大学提出免再训练的弹性 Transformer(2 条相关)→
「研究」频道最新
- Priming Models：无需扩散教师的单步生成新范式，FID 1.19 — du_yilun · 2026-10-15
- vLLM 实现 RL 训练推理 bitwise 一致，解决 KL 飙升掉分难题 — vllm_project · 2026-10-15
- David Deutsch 断言：证明已不再是数学进步的有效代理 — francoisfleuret · 2026-10-15
- STEMBench上线:六大学科评测,所有模型零满分通关 — mariofilhoml · 2026-10-15
- OpenAI 捐 500 万美元助力数学界研究 AI 成果,Simons 基金会共投 1500 万 — OpenAI · 2026-10-15
- Qwen 发布 BlenderWorld：223 个任务实测模型 3D 建模能力 — yshan2u · 2026-10-15