把权重当图像生成:diffusion 复用模型权重的大胆设想
zsakib_ · x · 2026-11-06
开发者 zsakib 提出一个脑洞:Hugging Face 上有数千个模型,与其每次从零训练,不如让模型学会精确"复述"已有权重——就像文本生成一样,用 latent diffusion/flow matching 直接生成新模型的权重,甚至让模型"inpaint"修补任意模型的权重。
他的论证脉络:
- 权重可以被当作图像处理,而扩散/流匹配模型已经能生成像素;
- 对权重做微小扰动模型仍能正常工作,说明权重空间存在冗余与可生成性;
- 从零训练很浪费——不同模型早期训练学到的通用模式高度相似,理论上可以复用;
- 进一步延伸:把前面的层当作已知"图像",生成后续层,类似视频/世界模型的外推。
他承认的主要难点是各层权重维度怪异、不规整。帖子属于未验证的开放式设想,引发了对"训练是否大量重复劳动"的讨论。
「模型」频道最新
- Boson AI 发布 45B MoE 全双工音视频模型,Big Bench Audio 98.9 分居首 — smolix · 2026-11-06
- Ripple-65B 预览版上线 Together AI:主打智能体编码,Terminal-Bench 2.1 拿 80.5 — togethercompute · 2026-11-06
- Artificial Analysis 发布 Intelligence Index v5 全量结果,Nanbeige4.3-33B 跑分 20 — ArtificialAnlys · 2026-11-06
- 同分 20:Nanbeige4.3-33B 每 task 耗 158K token,比 Qwen 多 44% — ArtificialAnlys · 2026-11-06
- Nanbeige4.3-33B 幻觉率低于 Qwen3.8 27B,但答对总数更少 — ArtificialAnlys · 2026-11-06
- BOSS 直聘旗下 Nanbeige 发布开源 33B 模型,并列 Qwen3.8 27B — ArtificialAnlys · 2026-11-06