LayerTrim：免训练剪枝保住推理模型 AIME 能力
SeoulNatlUniv · hf · 2026-10-16
首尔国立大学联合 NYU、USC 发布 LayerTrim，一种免训练的结构化剪枝方法，针对推理型语言模型在长链推理任务（如 AIME）上被现有剪枝方法破坏性能的问题。
- 方法：识别冗余 decoder 层并删除，同时选择性裁剪其 MLP 特征、保留注意力与 decoder 深度，故推理能力不崩。
- 效果：降低推理成本并缩短生成长度；论文图表显示在精度-平均生成 token 权衡上，LayerTrim 明显优于 LaCo、GRASP、ShortGPT、FLAP、RESP 等方法，接近 Dense 基线。
- 意义：首个为推理模型设计、在剪枝时保留注意力的免训练结构化剪枝方案，代码已开源在 GitHub。
「研究」频道最新
- VPO 后训练方法引关注：训练模型输出多样化好答案 — lateinteraction · 2026-10-16
- 797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力 — anshulkundaje · 2026-10-16
- 新文警告：AI 认知建模把可证伪性当硬指标，会被 reward-hack — AndrewLampinen · 2026-10-16
- SPLICE：用参考解提示修复模型失败推理，AIME 与奥数证明双提升 — behrouz_ali · 2026-10-16
- JAMA 推出子刊 JAMA AI，专注临床级 AI 与数字健康研究 — pshrink · 2026-10-16
- 给预训练 Transformer 换上 Titan 模块：推理提速且性能损失有限 — behrouz_ali · 2026-10-16