MaMMUT2 架构验证：多组 CC12M 训练实验对比
wightmanr · x · 2026-08-20
作者在 CC12M 数据集上进行了多组小规模（2x GPU）MaMMUT2 权重训练，旨在验证架构变体的有效性并与 CLIP 跑分对比。
实验配置与结果：
- 涵盖了 Modern Text 解码器、NaFlex ViT 编码器等变体。
- 对比了不同的学习率（1e-3, 2e-3, 3e-3）及 QK normalization 配置。
- 部分模型显示出了有竞争力的 Zero-Shot Image Classification 指标。
- 所有实验均在 32 epochs 内完成。
所属事件:OpenCLIP 支持 MaMMUT 并推出 MaMMUT2 训练验证(4 条相关)→
「研究」频道最新
- AI 设计出比人类直觉小 500 倍的芯片组件 — JackFisherBooks · 2026-08-21
- 微软发布 Skala 1.1：提升计算化学预测精度的深度学习泛函 — vdbergrianne · 2026-08-21
- 开源 A2A 适配器实现不同 Agent 框架互操作 — kevinlu310 · 2026-08-21
- LLM 推理的四大反直觉现象：批处理、量化与推测解码的陷阱 — techNmak · 2026-08-21
- 论文称应将“AI 科学家”视为人机协作系统 — rohanpaul_ai · 2026-08-21
- 研究：让模型实时修改架构以提升推理能力 — savvyRL · 2026-08-21