srush 用 Lean 形式化验证 Rust 分词器,直击 RL 训练推理失配

ying11231 · x · 2026-10-28

srushnlp 发布「Lean Verified Tokenizers」项目:针对 RL 训练中训练-推理消息失配导致跑挂的问题,用 Lean 形式化验证一个 Rust 分词器与 Agent 管线,而非仅靠 Jinja 模板拼消息。

转发者 radixark 指出这是 Miles「Token-In-Token-Out」工作启发下的延伸——不只测试训练看到模型生成的确切 token,而是进一步形式化验证分词器的关键性质,认为这正是 agentic RL 需要的严谨度。

所属事件:srush 用 Lean 形式化验证 tokenizer,直击训练推理失配(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →