SkyRL 联手 Lila Sciences 把 GLM 训练上下文拉到 100 万 token，快 2.1 倍
AndrewLBeam · x · 2026-10-23
Anyscale 的 SkyRL 团队与 Lila Sciences AI 研究团队合作，将 GLM-5.3-Flash 的训练序列长度从此前基线扩展到 100 万 token（64 倍），并在 256K 下实现 2.1 倍步速提升，全部优化开源可复现，多个修复已回馈上游 Megatron-LM。
关键技术点:
- DeepSeek Sparse Attention（DSA）优化:把 DSA 跑在稀疏 kernel 上，对其二次复杂度的 indexer 做分块与分片；作者发现「稀疏注意力的实现其实不够稀疏」，这是主要提速来源之一。
- 激活重计算与 offload:backward 阶段重算激活，把保存的输入 offload 到 CPU。
- 上下文并行（CP）:把序列切分到多卡，新增对 KDA 的 CP 支持，并修复 DSA 的 CP。
- 避免不必要的精度上转型:不让 fp32 副本占用显存和通信带宽。
注意:吞吐/显存数据来自随机 token 的 dummy 微调，真实数据下不均匀的 MoE 路由会推高峰值显存，博客有专门章节讨论。适合需要做超长上下文 agent/实验型 lab agent 训练的工程团队参考。
所属事件:GLM-5.3-Flash 强化学习训练上下文扩至百万 token(3 条相关)→
「Infra」频道最新
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：端到端响应快至 50ms 内 — JosephJacks_ · 2026-10-23
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋拆解 NVIDIA Vera Rubin 智能体系统四大组件 — rohanpaul_ai · 2026-10-23