用 4B 小模型替换 32B：MiniMax H3 视频生成的极限压缩实测
Fit_Ad7343 · reddit · 2026-08-09
作者分享了一种将 MiniMax H3 视频生成模型中原有的 Qwen3-VL-32B 文本编码器替换为 Qwen3-VL-4B 的技术方案。通过学习一个线性投影矩阵（岭回归），将 4B 模型的隐藏状态映射到 32B 的条件空间，成功将显存占用从 15.7GB 降至 4.5GB。
技术细节与效果：
- 由于两个模型共享相同的分词器，可以通过简单的岭回归进行位置对齐，无需复杂的梯度训练。
- 尽管测试余弦相似度仅为 0.71，但 DiT 模型对该误差容忍度极高，实际生成视频质量未受明显影响。
- 包含严格的对照组测试（零矩阵和单位矩阵），证明了学习到的矩阵确实提供了关键的结构化信息。
局限性：
- 丢失了 32B 模型中的部分世界知识，某些特定人物、地标或品牌可能无法正确渲染。
- 线性投影已达性能上限，进一步提升需要引入 MLP 结构。
所属事件:极限压缩：4B小模型爆改MiniMax H3视频生成器(3 条相关)→
「多模态」频道最新
- Midjourney 拟真晨光人像 prompt 分享：皱巴睡衣+自然皮肤质感 — tisch_eins · 2026-10-16
- 从1986老照片到2026：一张图的扩图、现代化改图与4倍放大全流程 — juanpablogc · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- 三份资源速通 FLUX 3 图像生成模型 — ariG23498 · 2026-10-16
- 网友让 Opus 5.5 造一辆新特斯拉 Roadster,结果出人意料 — TAbrodi · 2026-10-16
- Midjourney v8.2 蓝色水墨风生图实测，附 sref 风格码 — azed_ai · 2026-10-16