剪枝再升杯:单一模型按内存动态伸缩的构想
minhnguyen · x · 2026-11-23
X 用户 minhnguyen 提出一个'stupid idea':把大模型的专家迭代剪枝成小模型,在语料上训练后再逐步升杯回大模型,最终得到一套可以按 RAM 大小动态伸缩的单一大模型权重。
他认为让这个'slider'成立的关键是识别 super weights——找出哪些权重能剪、哪些不能剪,若能把权重映射到从最小到最大的分布上,就能找到一组在整个规格区间上接近最优的权重(或只需轻量 finetune/LoRA/diffing/WSP),小规格版本迭代也更快;他还希望最终能省掉小模型额外训练这一步。
一个关于模型尺寸弹性与稀疏性的开放技术构想,供讨论。
「Infra」频道最新
- 用户弃用每月 40 美元付费视频工具转投开源 Maestro — cocktailpeanut · 2026-11-23
- 本地推理引擎碎片化:为跑满 16GB 显存,他被迫同时维护 5 套引擎 — Fancy-Snow7 · 2026-11-23
- Koboldcpp 发布 v1.125.1 版本 — Fcking_Chuck · 2026-11-23
- Fireworks AI 数据泄露波及 Uber 15 万司机,美新规限制对华算力访问 — DavidLinthicum · 2026-11-23
- AWS 也遭遇过故障,为何你没听说 — nephihaha · 2026-11-23
- 为什么黑客组织不爱用 AI 攻击:噪音大、token 太贵、老方法仍有效 — jcran · 2026-11-23