DecoupleMix 把 VLM 数据配方变成可复现优化问题
Jiahao Xie · hf · 2026-07-28
- DecoupleMix 把 VLM 预训练数据配方，从“凭经验拼数据集”的做法，重写为一个混合优化问题。
- 它把数据配方拆成两个互相独立的部分：一是不同能力之间的类间比例，二是同一类别内部的类内比例。
- 类间分配用单变量迭代搜索求解；类内选择则结合质量/难度评分、带多样性目标的约束凸优化来完成。
- 作者希望这套方法让数据验证变得可复现、可追责；实验显示它优于启发式基线，而且在小规模代理数据上学到的比例能直接迁移到更大规模。
「多模态」频道最新
- Flux 3 用盗摄金属现场提示词追求粗粝真实感 — fofrAI · 2026-07-29
- 0.5B 参数的实时键盘控制视频模型已能交互运行 — multimodalart · 2026-07-29
- NVIDIA PDD 用 4–8 步蒸馏加速图像和视频生成 — nvidia · 2026-07-29
- VisoMaster 开源换脸工具支持图像视频与表情微调 — tom_doerr · 2026-07-29
- 用 img 2.0 生成的 Elon 与 Sam 对话梗图 — SkyNo7576 · 2026-07-29
- ComfyUI 0.29 增加流式视频与 GPT 5.6 节点 — pytraveler · 2026-07-29