SGLang-Neuron 开源:SGLang 推理栈正式登陆 AWS Trainium
testingcatalog · x · 2026-11-18
LMSYS SGLang 团队与 AWS Annapurna Labs 联合发布开源的 SGLang-Neuron v0.1.0 公开预览版,让 SGLang 推理栈原生跑在 AWS Trainium 芯片上。关键信息:
- 单异步运行时:所有支持的 LLM 共享一个全异步运行时,decode 步骤背靠背执行无空转;Megakernel 把每步所有 decoder 层压进单次 NKI kernel 调用,GPT-OSS-120B、GLM-5.2、Kimi-K3 均走此路径。
- 跨节点分离部署:Kimi-K3 在 3 个 Trainium3 节点上做 prefill-decode 分离,KV 经 NIXL/EFA 传输;GLM-5.2(MXFP4) 支持 1M token 上下文的 agentic coding 负载。
- HiCache:被逐出的前缀缓存进主机 DRAM,再次命中直接回载而非重算,内存不足时可给 GPT-OSS-120B 带来 70% 以上的输出提升。
- 扩散模型:SGLang Diffusion 已支持 Trainium2,可跑 FLUX.1-dev、FLUX.3-Action、Wan2.2 A14B 等。
- 还包含基于 Miles 的 RL rollout 支持。
这是非 NVIDIA 芯片推理生态的重要进展,Trainium 上跑开源模型的经济账愈发可行。
「Infra」频道最新
- AMD 苏姿丰谈黄仁勋风波:这些噪音终会随时间平息 — adariostrange · 2026-11-18
- 竞品用 148 国 11214 个轮换 IP 爬取 Pickle Moose,已修补 — AJChadha · 2026-11-18
- AWS CEO 表态:与 Nvidia 合作长期不变,同时自研 Trainium 进展出色 — Kr00ney · 2026-11-18
- 亚马逊 CEO Jassy:必须建数据中心,停建让中国定规则将是历史性错误 — Kr00ney · 2026-11-18
- AMD MI355X 跑 MiniMax M3.1 Flash 性能 20 天内提升 4 倍 — AnushElangovan · 2026-11-18
- 黑石警告 Anthropic IPO 后或获垃圾级评级,牵动 630 亿美元芯片融资 — deliprao · 2026-11-18