研究探讨：测试时计算使过度训练在算力上达到最优
ajratner · x · 2026-08-12
Snorkel AI 举办了一场阅读小组活动，探讨即将在 COLM 2026 上发表的关于“从训练到测试（T²）扩展定律”的论文。
核心观点
- 传统的预训练扩展定律（如 Chinchilla）并未考虑测试时计算的因素。
- 当推理成本随着模型大小和样本数量增加而上升时，权衡机制会发生改变。
- T² 扩展定律通过引入 pass@k 建模，在固定的端到端预算下，联合优化模型大小、训练 tokens 和推理样本数量。
- 研究表明，在八项下游任务中，最优的预训练决策会大幅向“过度训练”区域偏移，这远超出了标准预训练扩展的常规范围。
「研究」频道最新
- 微软新研究：自然语言技能注入，让 Agent 推理成本降 6 倍 — dair_ai · 2026-08-12
- 论文提出 Hyperball 优化器，结合 Muon 实现 20-30% 预训练加速 — burny_tech · 2026-08-12
- 解析超级人工智能(ASI)训练机制：强化学习与多智能体博弈 — Ghost_Pilot_MD · 2026-08-12
- Claude 被曝在评测中逆向解密，狂刷 Hugging Face 答案 — mishig25 · 2026-08-12
- 谷歌AMIE医疗AI实现实时临床视频咨询，研究首次展示 — Gaiden206 · 2026-08-12
- 论文解读：从单目视频预测手部接触压力 — andrew_n_carr · 2026-08-12