LongStraw：百万级长上下文RL
mindlab-research · hf · 2026-07-17
LongStraw 提出一种面向百万 token 级 RL 后训练的执行栈，目标是在固定 GPU 预算下做长上下文强化学习。
核心思路是：对共享 prompt 先做无 autograd 评估，只保留后续 token 需要的模型状态；短响应分支按顺序重放，从而压缩训练图和峰值显存，但会增加重放时间。作者用带有混合递归与全注意力的 Qwen3.6-27B，以及压缩注意力 MoE 的 GLM-5.2 做了实现。
实验结果包括：
- 在 8 张 H20 上，Qwen 的 grouped scoring 和 response backward 能跑到 2.1M positions；组大小从 2 增到 8，峰值显存只增加 0.21 GB。
- 单独压力测试可到 4.46M positions。
- 在 32 张 H20 上，验证了 GLM-5.2 对 2.1M-token prompt、覆盖 78 层 的端到端执行路径。
作者也强调，这些实验主要证明的是执行能力，而不是完整训练正确性，因为 captured prompt state 是 detached 的，而且部分分布式 forward / 梯度组合路径还不完整。
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露：CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- profiling 实测：Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27