LMSYS 详解 TITO 原则:训练与推理 token 序列不一致如何毁掉 RL 训练
srush_nlp · x · 2026-10-28
- LMSYS 在 Miles 框架博客中系统阐述 Token-In-Token-Out(TITO)原则:trainer 评估的必须与推理引擎在 rollout 中实际消费/产出的 token 序列完全一致。agentic RL 的 rollout 不是单次生成,而是模型调用、工具输出、harness 消息、续写生成的链条,任何一处不一致都会造成 training-inference mismatch,毁掉 RL 训练。
- TITO 为何重要:训练效率上每个任务只需一个样本;数学正确性上维持 on-policy 性质。
- 博客列举三种 TITO 被破坏的场景:detokenize-retokenize 不一致、推理内容被 chat template 裁剪、有损的 chat template 重新渲染。
- Miles 的实现要点:inference session server、三层 append-only 保证、可插拔 TITO tokenizer、token 序列比较器验证。作者还提到用 Lean 验证的 Rust agent pipeline 原型,替代用 Jinja 拼消息的做法。
「编程与Agent」频道最新
- 实测:Agent 厌倦延迟,Claude Opus 超 7.2 秒就弃用 API — danshipper · 2026-10-28
- 用 Skillry Motion 技能包 5 分钟接下小红书商单 — yihui_indie · 2026-10-28
- LaunchMotion 技能包：Claude Code 5 分钟产出 4K 产品发布视频 — yihui_indie · 2026-10-28
- 开发者用 Rork 重构应用并到 Apple 店实测 iPhone Duo 适配 — rudrank · 2026-10-28
- 开发者断言:AI 时代软件框架该为智能体而非人类重构 — samgoodwin89 · 2026-10-28
- Nous Research 发布 Hermes ElevenLabs 音效插件,文字描述秒出游戏音效 — NousResearch · 2026-10-28