SGLang-Neuron v0.1.0 开源：推理栈正式跑上 AWS Trainium 芯片
ying11231 · x · 2026-11-13
SGLang 团队与 AWS Annapurna Labs 联合开发的 SGLang-Neuron v0.1.0 开源并公开预览，让 SGLang 推理栈在 AWS Trainium2/Trainium3 芯片上原生运行（基于上游 SGLang 的 PyTorch 原生插件，经 TorchNeuron），服务与 API 保持不变，还可用于生成 RL rollouts。关键技术点：
- 全异步运行时：Trainium 芯片可背靠背执行 LLM 的 decode 步骤
- Megakernels：每步的所有 decoder 层压缩进单次 NKI kernel 调用
- 基于 EFA 的 PD 分离：Kimi-K3 跨三台 Trainium3 节点运行，GLM-5.2 支持百万级上下文
- HiCache：被驱逐的 prefix 留在主机内存，后续命中时回载
- SGLang Diffusion 上 Trainium2：支持 FLUX.1-dev、FLUX.3-Action、MiniMax-H3、Wan2.2 A14B、LingBot-World-V2 等模型
这是 NVIDIA 之外的 AI 芯片生态的重要进展，Trainium 的推理软件栈可用性大幅提升。
「Infra」频道最新
- 「新加坡」占英伟达营收 15-20%,评论区调侃早有征兆 — JensHonack · 2026-11-13
- SGLang Summit 议程曝光:LinkedIn 广告模型 10K QPS 延迟低于 80ms — DavidBennett__ · 2026-11-13
- 开源权重会泄露训练用 GPU：取证方法显示六款中国新模型用的是 Blackwell — Antique_Atmosphere97 · 2026-11-13
- SGLang 首发优化 Inkling 2 Small：单用户 576 tok/s — LiTianleli · 2026-11-13
- 梗图科普：CUDA 就是为并行许多 Alice Huang 而优化 — djcows · 2026-11-13
- Perplexity Mac 版惊现本地模型选项,桌面端或将支持离线运行 — dnlkwk · 2026-11-13