Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
Xinjie Shen, Wei Fan, Xudong Guo, Jianhong Tu, Yang Su, Chuqiao Kuang, Yinger Zhang, Dayiheng Liu
cs.AI, cs.CL
2026-09-23
VHD-Play先求解运筹模型再渲染成有状态工具,三千三百个环境把Qwen3.6-35B的agentic均分从0.204拉到0.815,三百六十五天电商余额达到基座的3.4倍。
语言模型agent要做长程、有状态的任务:库存会变、承诺会占容量、信息要自己去探。训练这种策略需要三样东西同时在:多样环境、可靠结果信号、扩一类新任务几乎零成本。现有生成管线通常先造环境,再补奖励或轨迹标注,动力学和评分事后对齐。手写仿真器信号准,但每个家族都要专家重写。
VHD-Play把依赖倒过来:先抽样并解一个数学模型,再让setter把它的决策过程渲染成有状态工具。可执行动力学和轨迹打分共用同一份已解模型。
每个实例从机制家族抽样参数θ,用闭式公式、枚举、动态规划或数值求解器算出最优值u和默认策略值u0,不含语言模型。奖励是把策略实现效用相对这两个锚点线性缩放到[0,1]再截断。冻结的语言模型setter拿到完整参数和一篇真实文档片段,生成场景、关系数据库、工具schema和玩家说明书。玩家看不到参数和参考解,只能通过probe类工具探信息、用decision类工具改状态,两类动作共享回合预算。
准入检查生成代码能否执行,以及回放轨迹是否落在预先算好的参考区间内。过关的环境平均至少10个工具,约59.7个assistant回合。训练用GRPO,起点是Qwen3.6-35B-A3B。同一份数学题还能写成三种呈现:写满的问答(F)、参数直接揭开的有状态版(I)、参数必须交互获取的agentic版(A)。
管线产出3300个过准入环境,公开费率大约每条1到3美分,场景种子覆盖28个主题域,最大域占比4.7%。训练用三个家族,评测覆盖十一个。
五族优化问题上,agentic均分从0.204升到0.815。三种呈现的基座→训练后:
| 呈现 | 基座 | 训练后 |
| 写满问答 F | 0.962 | 0.992 |
| 参数揭开 I | 0.231 | 0.875 |
| 交互获取 A | 0.204 | 0.815 |
写满题基座已经接近天花板,缺口在有状态交互:I比F低0.73,A再低一点。训练填上I缺口的84%、F到A缺口的77%。留出训练家族均涨+0.56,未见过的优化家族(近OOD)+0.63,改决策结构或限制探查的远OOD是+0.24和+0.16。
外部基准没有共享实例或接口。E-Commerce Bench的365天店面,训练后checkpoint五次全跑完、零破产,期末余额均值从54294到182844,是基座的3.4倍,超过Qwen3.7-Max的165224;单局1147到1825个assistant回合。BFCL V4十个交互格均分61.25→64.08(+2.84)。TravelBench计划质量0.700→0.794,仍低于Qwen3.7-Max的0.891。
背包族按规模匹配训练:6物品×5期,0.432→0.843;11×11,0.085→0.946。更大的题,基座掉得更狠,训练涨幅更大。
可验证强化学习一直卡在「有标准答案的题」。这篇给出一条把运筹学模型变成agent环境的生产路径:求解器当裁判,语料当皮肤,接口控制信息边界。对要训工具调用和长程经营的团队,这比手写仿真器便宜,也比learned judge干净。对照实验把结论说死了:会做题不等于会在变化的状态里做承诺。
所有上报家族都有可计算参考,谈判用逆向归纳,序列搜索用事后上界,在线策略未必能摸到u。优化器只吃终局奖励,没有过程监督。训练三个家族、评测十一个,几乎都是成熟的数学/运筹模型。生成族结果是单次训练、单个评测种子。远OOD涨幅明显更小。TravelBench仍落后更大的API模型。作者不声称策略显式重建了底层方程,也不声称运筹学够用做一般agent能力。