LongStraw：百万级长上下文RL
mindlab-research · hf · 2026-07-17
LongStraw 提出一种面向**百万 token 级 RL 后训练**的执行栈，目标是在固定 GPU 预算下做长上下文强化学习。 核心思路是：对共享 prompt 先做无 autograd 评估，只保留后续 token 需要的模型状态；短响应分支按顺序重放，从而压缩训练图和峰值显存，但会增加重放时间。作者用带有混合递归与全注意力的 **Qwen3.6-27B**，以及压缩注意力 MoE 的 **GLM-5.2** 做了实现。 实验结果包括： - 在 **8 张 H20** 上，Qwen 的 grouped scoring 和 response backward 能跑到 **2.1M positions**；组大小从 2 增到 8，峰值显存只增加 **0.21 GB**。 - 单独压力测试可到 **4.46M positions**。 - 在 **32 张 H20** 上，验证了 GLM-5.2 对 **2.1M-token prompt**、覆盖 **78 层** 的端到端执行路径。 作者也强调，这些实验主要证明的是**执行能力**，而不是完整训练正确性，因为 captured prompt state 是 detached 的，而且部分分布式 forward / 梯度组合路径还不完整。