混入 8% 推理轨迹后，棋类 LLM 冲到 1300 Elo
amasad · x · 2026-07-29
一个棋类 LLM 训练实验发现，只用“棋盘状态 → 落子”配对监督会很快遇到明显的收益递减。训练中一次意外生成了“先思考再下棋”的分支，虽然这条分支会幻觉出错误走法，但把大约 8% 这类推理轨迹混入普通训练后，在相同预算下反而超过了纯落子数据。
- 这套模型最终达到了 1300 Elo。
- 纯 board→move 数据很快进入瓶颈。
- 少量有瑕疵的推理轨迹，帮助模型内化“思考过程”，而不需要在推理时真的显式展开。
所属事件:商业大模型下棋表现不佳，推理能力成关键(3 条相关)→
「研究」频道最新
- Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- 研究者长期实验：什么样的提示词能让 LLM 产出最有意思的点子？ — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16