T³ 训练时测试:每步用半批试错、元梯度更新刷新 SOTA
YouJiacheng · x · 2026-11-13
研究人员提出 Training-Time Testing(T³)方法,应对「算力快速增长但预训练语料不再增长」的数据受限优化问题。
核心机制:每一步先在半个 batch 上做试验性更新,再用另一半 batch 检验该更新,最后以元梯度完成实际参数更新——相当于把「测试」内嵌进训练循环。
作者报告该方法在 SlowRun 基准上取得 SOTA;YouJiacheng 转发评价称这是「正确的方向」。
「研究」频道最新
- LLM 量化入门路线图:9 篇必读论文按序整理 — East-Muffin-6472 · 2026-11-13
- HF 研究员开源 Ettin 系列重排器：6 档尺寸、各规模 SOTA、附完整训练配方 — antoine_chaffin · 2026-11-13
- LightOn 开源 DenseOn 系列：单向量与多向量检索模型双双达 SOTA — antoine_chaffin · 2026-11-13
- 开源 late-interaction 检索模型论文中选 EACL 2027 — antoine_chaffin · 2026-11-13
- NVIDIA VLA 模型开车,Embedl 优化后在 Thor 上达 20 决策/秒 — No-Dragonfly6246 · 2026-11-13
- DeepMind 用 LLM 生成 600 万行 Lean 证明，验证 Signal 加密协议到机器码级 — pushmeet · 2026-11-13