$339 训练费把 gpt-oss-20b Wordle 解题率从 61% 提到 84%
AWS ML Blog · rss · 2026-10-24
AWS ML Blog 发布多轮强化学习（MTRL）在 SageMaker AI 上的实操指南，解决单轮 SFT/RL 无法给「三步之前的决策」记功劳的问题：不标注正确轨迹，只在整局结束时按结果打分。
架构
- SageMaker AI 负责训练任务与策略模型；agent、环境和奖励函数打包成一个 Python 文件部署到 Bedrock AgentCore；agent 通过 OpenAI 兼容端点调用策略模型，回合结束回报一个奖励，用 GRPO 更新 LoRA adapter。
- 支持 Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B、Qwen 3.6 27B；示例选 GPT-OSS-20B，因单价最低且推理力度可控。
实测结果（Wordle 教学示例）
- 默认推理力度：held-out 单词解题率 61% → 84%；低推理力度：15% → 69%。
- 100 步训练消耗 12.94 亿 token（prefill 4.92 亿 / sample 1.60 亿 / train 6.43 亿），105,486 次 rollout，12 小时 40 分钟，训练 token 费约 $339，AgentCore 运行时另计约 $79。
- train 维度占大头且随轨迹长度增长——缩短游戏轮数、减少冗长推理能直接降成本。
踩坑记录
- 训练角色的 trust principal 必须是 job.sagemaker.amazonaws.com 而非通用的 sagemaker.amazonaws.com，否则 CreateJob 报「无法 assume role」且提示信息有误导。
- 奖励设计以结果为主导：解题 1.05–1.55（按速度），输局 -0.5，从未有效猜测 -1.5，另加小的策略 shaping 项。
- 数据集只需携带谜底单词，词表用开源 SCOWL 构建；数据全程留在自己 AWS 账户内。
「编程与Agent」频道最新
- CTO 用新模型 d1.1 搭 Telegram 机器人:有人进办公室就发照片 — helloiamleonie · 2026-10-24
- FLUX 3 Klein 官方提示:须搭配 prompt upsampling 才能出好图 — bfl_ai · 2026-10-24
- Google Flutter 团队：AI 时代真正瓶颈是验证而非代码生成 — rseroter · 2026-10-24
- Agima 智能体靠「想象未来」规划，硬任务成绩 2%→40% — RulinShao · 2026-10-24
- 港中深等提出 IF-MAP：用影响函数定位多智能体系统最值得优化的 Agent — Jie Mao · 2026-10-24
- ID-TAP：用对决式老虎机在有限交互内实现 LLM Agent 实时个性化 — Jie Mao · 2026-10-24