8700 万参数下棋模型:12 层解码器、国际象棋词表、共享嵌入
andreisavu · x · 2026-11-08
线程第 10-11 部分,交代模型主体规格:
- 模型规格:当前训练模型约 87M 参数,12 层解码器、宽度 768、12 个注意力头、512 token 上下文;使用国际象棋专用 token,输入输出嵌入共享(tied embeddings)。
- 监督信号设计:普通下一步预测目标等权重训练,与对局胜负无关;价值(value)则由对局结果来监督,两种信号各司其职。
所属事件:LittlePly 国际象棋 Agent:Transformer 策略加有界 Stockfish 辅助全记录(23 条相关)→
「研究」频道最新
- mitsuhiko:djs 的 JS「堆转储」或比真 dump 更适合持久化编码 agent — mitsuhiko · 2026-11-08
- Salesforce 论文：外置教师蒸馏费算力，领域专家合并省 42% — rohanpaul_ai · 2026-11-08
- Albert Gu 挺 Bitter Lesson：别把苦涩教训只读成堆 Transformer — sewon__min · 2026-11-08
- Autoware 开源越野自动驾驶仿真器:基于 NVIDIA Isaac Sim 支持多车训练 — rsasaki0109 · 2026-11-08
- 超长程智能体时代最迷人的元问题：AI 能否发现超越梯度下降的方法 — JensHonack · 2026-11-08
- LLM 能解博士级数学题,为何下不好国际象棋?Reddit 热问 — MesloubFC · 2026-11-08