论文：CLIP 与 MaMMUT 缩放定律对比，MaMMUT 样本效率更高
wightmanr · x · 2026-08-20
新论文研究了 CLIP 和 MaMMUT 两种语言-视觉学习过程的缩放定律。通过在 DataComp、DFN 和 Re-LAION 等开放数据集上的密集测量，推导了基于对比学习与结合生成式损失的训练方法的性能预测。
主要发现：
- MaMMUT 在规模扩大时表现出更强的改进幅度和更好的样本效率，优于标准 CLIP。
- 这种优势在分类、检索和分割等下游任务中保持一致。
- 研究表明，即使使用恒定学习率计划推导缩放定律以降低计算成本，也能进行有效的模型和数据集比较。
「研究」频道最新
- 研究称大模型后期训练导致语言新颖但缺乏实用性 — TuhinChakr · 2026-08-20
- 合成 RL 环境新思路：一模型出题一模型玩，胜率居中成关键 — tokenbender · 2026-08-20
- Agent 后训练困境：首步锁定策略，缺乏中途反思机制 — omarsar0 · 2026-08-20
- GEN-1.5 爆火背后：重复性动作与 UM I 数据采集成关键 — DrJimFan · 2026-08-20
- NEJM 观点：AI 用于健康行为改变效果微小且难预测 — zakkohane · 2026-08-20
- Claude Code + Opus 5 跑满 ARC-AGI-3，核心在可证伪预测 — scaling01 · 2026-08-20