新训练 recipe 可能借谱几何元数据降低重训练能耗
seanmcdonaldxyz · x · 2026-07-21
作者表示已把新代码发给几位专家核验，若确认有效就会开源。
这套方法声称可以通过把谱几何当作一种元数据来使用，显著降低模型重训练的能耗。
配图里的结果显示：
- 新 recipe 在 step 100 左右就把验证损失压到基线以下
- 训练后期基本维持在 1.66 左右
- 基线则在约 step 1,400 达到最好点后开始过拟合，最终升到 2.30
作者同时提醒：该 recipe 也改了学习率，因此目前还不能把提升完全归因于谱方法本身。
「Infra」频道最新
- Lightning AI 推出 LitLogger，自动记录训练指标与环境信息 — LightningAI · 2026-07-21
- Moonshot 因 GPU 需求暴涨暂停 Kimi K3 新注册 — eyishazyer · 2026-07-21
- 微软扩大 Mistral 模型接入，覆盖 Azure 全家桶 — arthurmensch · 2026-07-21
- SmolVM 被推荐为智能体运行时的轻量内部门禁沙箱 — aniketmaurya · 2026-07-21
- PyTorch profiling 三连文补齐 torch.profiler 教程 — RisingSayak · 2026-07-21
- AMD 展示 Ryzen AI Halo，主打端侧本地 AI 工作流 — Sam Witteveen · 2026-07-21