单机合并解谜游戏中的强化学习与长程规划策略探讨

CaiwenGong · reddit · 2026-08-11

一位开发者正在为一款机制类似 2048 的单机合并解谜游戏设计 AI，并向社区寻求算法与论文指导。

游戏机制：棋盘有 6 个栈（最高 7 层），玩家需移动栈顶相同元素进行合并（3 个及以上合成升级）。每 4 步操作后会触发随机掉落，但系统会提前 1 步展示掉落预览。
优化目标：不仅要最大化单局得分，还要在 30 分钟内最大化总得分（约 1800 步操作），这使其成为一个连续的平均奖励/吞吐量优化问题，而非传统的单局评分。
当前架构：状态空间包含 394 个特征。采用了列置换等变的策略/价值网络架构，包含共享编码器、动作评分头以及预测未来得分、死亡风险的价值头。
面临挑战：开发者指出，冷启动成本与成熟棋盘的效率之间存在显著差异（首个得分需 48 步，后续平均仅需 18.7 步），希望能获得在有限算力预算下进行高效规划与价值评估的算法建议。

「研究」频道最新