LittlePly 训练配置公开:Muon+AdamW 混用,BF16 混合精度
andreisavu · x · 2026-11-08
andreisavu 的 LittlePly 国际象棋 Agent 长线程披露训练细节:采用 BF16 autocast 混合精度(参数与梯度以 FP32 存储),优化器组合 Muon 与 AdamW,配合梯度裁剪,并按源码进度调度 warmup、平台期与衰减。
上一条说明:初始化复用预训练 transformer 主体、换上全新的国际象棋嵌入,在全网络训练前做适配;这种初始化与辅助目标的收益有待受控对局测试验证。
所属事件:LittlePly 国际象棋 Agent:Transformer 策略加有界 Stockfish 辅助全记录(23 条相关)→
「研究」频道最新
- mitsuhiko:djs 的 JS「堆转储」或比真 dump 更适合持久化编码 agent — mitsuhiko · 2026-11-08
- Salesforce 论文：外置教师蒸馏费算力，领域专家合并省 42% — rohanpaul_ai · 2026-11-08
- Albert Gu 挺 Bitter Lesson：别把苦涩教训只读成堆 Transformer — sewon__min · 2026-11-08
- Autoware 开源越野自动驾驶仿真器:基于 NVIDIA Isaac Sim 支持多车训练 — rsasaki0109 · 2026-11-08
- 超长程智能体时代最迷人的元问题：AI 能否发现超越梯度下降的方法 — JensHonack · 2026-11-08
- LLM 能解博士级数学题,为何下不好国际象棋?Reddit 热问 — MesloubFC · 2026-11-08