Codex v1 早期草稿在试验幂衰减学习率调度
eliebakouch · x · 2026-07-21
v1/codex/scratchpad 截图展示了 Codex v1 早期迭代里的一条想法记录：给 NorMuon 设计 inverse-sqrt / power-decay 学习率调度。
这条笔记提到，scratchpad 里已经有 WSD、OneCycle、schedule-free NorMuon、D-Adaptation/Prodigy 以及一些 horizon/cooldown 微调，但还没有单独的 inverse-sqrt 或 power-law 衰减方案。随后它解释了为什么这类调度在 transformer 训练中常见，并给出一个替换 warmup 后全局 eta 的公式：
- eta(t) = max(etamin, (1 + (t - warmupsteps) / tau) (-power))
「编程与Agent」频道最新
- Rowboat 作为开源本地优先 AI 同事上线 — ycombinator · 2026-07-22
- Scoble 说 AI 的 loops 本质是长运行多智能体工作区 — Scobleizer · 2026-07-22
- Kimi Code 开放候补名单，Moonshot 推进编码产品 — Fabulous_Bonus_8981 · 2026-07-22
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22
- 独立开发者探讨：当前 AI Agent 记忆层的真正痛点在哪？ — AcceptableTime7937 · 2026-07-22
- Fractal 用递归 agent 循环处理复杂多步工作流 — ryanpettry · 2026-07-22