探索性建模：超越参数与数据的第三预训练维度
PMinervini · x · 2026-08-03
研究人员提出了「探索性建模」，声称在传统的参数和数据之外发现了第三个预训练维度。通过引入探索机制（最简形式下仅为一个 for 循环），可以显著提升模型在图像、视频和语言任务上的表现。
该方法的核心优势包括：
- 收益随规模增长：随着数据量增加，性能提升从 7% 增至 36%；参数量增加时，提升从 13% 增至 23%；在 3 倍算力下收益翻倍。
- 大幅提升效率：在接近 SOTA 的基线模型上，数据效率提高 6.2 倍，FLOP 效率提高 4.1 倍，参数效率提高 47%。
- 优秀的生成能力：在 ImageNet 上实现了 1.43 的无引导 FID，接近 SOTA。这表明探索机制允许模型用训练算力换取泛化能力。
「研究」频道最新
- AI 研究员自嘲：向视觉社区道歉，我写了篇单栏格式论文 — gabriberton · 2026-08-03
- 哈佛教授卷入风波：被曝利用 AI 生成「互引垃圾论文」刷引用 — suchenzang · 2026-08-03
- AI 药物发现基准更新：通用大模型逼近专用模型 — DeryaTR_ · 2026-08-03
- 机器人肌肉材料兼具抗损伤与自愈能力，研究者称将扩大样本 — MarwaEldiwiny · 2026-08-03
- 解决人形机器人难题，关键或在「脚底板」 — MarwaEldiwiny · 2026-08-03
- 阿里达摩院发布 RynnBrain 1.1，人形机器人成功实现一镜到底煎牛排 — CyberRobooo · 2026-08-03