MAI-Base-2 训练报告采用把 1/(weight_decay·lr) 视作时间尺度的缩放规则
SeunghyunSEO7 · x · 2026-10-16
Seunghyun 转发指出微软 MAI-Base-2 的训练报告采纳了其与 @laurenceai 早前提出的超参缩放视角:把 1/(weightdecay × lr) 看作一个时间尺度(timescale),据此推导 hyperparameter 缩放规则;该思路后被 Shane Bergsma 等进一步扩展到 LLM 预训练。研究者确认自己提出的方法被前沿模型训练实际采用。
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16