剪枝再升杯:单一模型按内存动态伸缩的构想

minhnguyen · x · 2026-11-23

X 用户 minhnguyen 提出一个'stupid idea':把大模型的专家迭代剪枝成小模型,在语料上训练后再逐步升杯回大模型,最终得到一套可以按 RAM 大小动态伸缩的单一大模型权重。

他认为让这个'slider'成立的关键是识别 super weights——找出哪些权重能剪、哪些不能剪,若能把权重映射到从最小到最大的分布上,就能找到一组在整个规格区间上接近最优的权重(或只需轻量 finetune/LoRA/diffing/WSP),小规格版本迭代也更快;他还希望最终能省掉小模型额外训练这一步。

一个关于模型尺寸弹性与稀疏性的开放技术构想,供讨论。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →