探索性建模：超越参数与数据的第三预训练维度
PMinervini · x · 2026-08-03
研究人员提出了「探索性建模」，声称在传统的参数和数据之外发现了第三个预训练维度。通过引入探索机制（最简形式下仅为一个 for 循环），可以显著提升模型在图像、视频和语言任务上的表现。
该方法的核心优势包括：
- 收益随规模增长：随着数据量增加，性能提升从 7% 增至 36%；参数量增加时，提升从 13% 增至 23%；在 3 倍算力下收益翻倍。
- 大幅提升效率：在接近 SOTA 的基线模型上，数据效率提高 6.2 倍，FLOP 效率提高 4.1 倍，参数效率提高 47%。
- 优秀的生成能力：在 ImageNet 上实现了 1.43 的无引导 FID，接近 SOTA。这表明探索机制允许模型用训练算力换取泛化能力。
所属事件:哈佛与UIUC提出探索式建模，数据效率最高提升6.2倍(2 条相关)→
「研究」频道最新
- Microsoft AI 公开 2.8T 模型训法:小模型阶梯实验预测大模型 — hboelman · 2026-10-16
- 冻结模型写入外部记忆:Qwen 与 Mistral 上的隐藏态注入实验复现 — Nearby_Indication474 · 2026-10-16
- 2024 年 Golden Gate Claude 视频再流行:可解释性 premise 至今仍成立 — HarperSCarroll · 2026-10-16
- DeepMind 四个 Gemini Agent 27小时14分钟自主通关 Minecraft — omarsar0 · 2026-10-16
- 新论文称约90%神经元功能清晰,可解释性临近突破引激辩 — The Decoder · 2026-10-16
- MagicBeanStalk 论文：递归合成难题数据，gpt-oss-120b 数学基准提升 8.6 分 — hyunw_kim · 2026-10-16