阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型
VISLab-Amsterdam · hf · 2026-10-15
阿姆斯特丹大学 VISLab 论文《Your Transformer Is Secretly Elastic》提出免再训练方法,把预训练 Transformer 变成可连续适应不同计算预算的弹性模型。
- 核心贡献:对函数化单元排序问题做可微松弛,联合优化每个 MLP 神经元和注意力头的独立重要性权重,通过跨多个稀疏度目标的软剪枝最小化损失,一次完成。
- 实验规模:覆盖 27 个 22M8B 参数的视觉与文本 Transformer 编码器,60% 稀疏度内平滑退化,深度剪枝下超越 one-shot 基线。
- 亮点数据:DINOv3 ViT-H+/16 剪到 50% 稀疏度,移除 427M 参数,ImageNet-1k 线性探测精度仅降 0.8%,无需权重校正或再训练;剪枝后 AugReg ViT-B/16 在 A100 上吞吐提升至 1.80 倍,单查询延迟降低 1.26 倍。
- 弹性模型构建只需数分钟,构建时间随参数量亚线性增长。
所属事件:阿姆斯特丹大学提出免再训练的弹性 Transformer(2 条相关)→
「Infra」频道最新
- 黄仁勋:欧洲不缺科学家,缺的是 AI 革命所需的长期能源方案 — karmicoder · 2026-10-15
- 迁出 1PB 云数据仅出口费就达 7.4 万美元，总成本可达 50 万美元 — DavidLinthicum · 2026-10-15
- 机器人缺它的「ChatGPT 时刻」：全球操作数据仅 30 万小时，缺口达百倍 — 0xSammy · 2026-10-15
- 阶跃 Step 5 Preview 上 GB300 跑出近 8K tokens/s，600B 开源权重 — StepFun_ai · 2026-10-15
- Ramp 融资 18.5 亿美元，估值 600 亿，8.5 万企业月省超 10 亿美元 — SethGRosenberg · 2026-10-15
- GPU 供给过剩论 vs 无限需求:算力泡沫下买市场不买工厂 — bittingthembits · 2026-10-15