Thinking Machines 推出 StableReinforce,解决 off-policy RL 突然崩溃
LiTianleli · x · 2026-10-22
Thinking Machines 的 Tinker 平台发布新方法 StableReinforce(alpha),针对 off-policy 强化学习训练中最常见的崩溃问题——异步 RL 的采样陈旧(staleness)与训练/采样数值精度不一致。
- 它是 REINFORCE 的变体,即使训练策略与采样策略发生漂移也能保持稳定;官方称在内部 post-training 中,即便高度 off-policy 的异步 RL 和低精度数值下也极其稳定。
- 实现方式:采样时仅需记录少量额外信息——创建 sampling client 时设 recordstabilityinfo=True,每条采样序列携带 sequenceid,训练时用它标注对应 token 即可。
- 目前为 alpha 阶段,API 可能变动;文档含完整采样与训练代码示例。
「编程与Agent」频道最新
- PoA 网络升级 24-72 小时：托管挖矿暂停、自托管接口照常 — adamamcbride · 2026-10-22
- Agent 运维实战:定期退役重开配 handoff 文档,重试上限 1-3 次 — alexcovo_eth · 2026-10-22
- Supabase .NET SDK v8 正式发布：全部包合并进一个仓库统一版本号 — dshukertjr · 2026-10-22
- 开发者推出 MCP 事故演练室:交互式 TypeScript 教学原型 — kilmex33 · 2026-10-22
- Perplexity Computer 上线 Graphify 技能:把代码库变成可视化交互地图 — AravSrinivas · 2026-10-22
- WebKitUI MCP 0.6.42：修复 agent 看不见的隐藏链接与误拒长页 — lowriskcork · 2026-10-22