GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍
AndrewLBeam · x · 2026-10-23
Lila Sciences 与合作者在 SkyRL 框架上为 GLM-5.3-Flash 实现了 100 万 token 上下文的训练支持，比开箱即用的 Megatron 基线高 64 倍。关键优化集中在四个方面：
- DeepSeek Sparse Attention：在稀疏 kernel 上运行 DSA，并将其二次方复杂度的 indexer 分块与分片；
- 激活重计算与卸载：反向传播时重算激活，把保存的输入卸载到 CPU；
- 上下文并行：将序列切分到多 GPU，并为 KDA 新增 CP 支持、修复 DSA 的 CP；
- 避免不必要的精度上转：不让 FP32 副本占用显存和带宽。
团队发布了完整技术博客，对做长上下文训练/RL 的工程团队有直接参考价值。
所属事件:SkyRL 助 GLM-5.3-Flash 实现 100 万 token 上下文训练(3 条相关)→
「Infra」频道最新
- 彭博：高频交易巨头豪掷数十亿美元入局 AI 算力竞赛 — iaindunning · 2026-10-23
- 无反向传播预训练 Transformer:10 天从 1.76 小时压到 1.6 秒 — mayfer · 2026-10-23
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23