SGLang-Neuron 开源:SGLang 推理栈正式登陆 AWS Trainium

testingcatalog · x · 2026-11-18

LMSYS SGLang 团队与 AWS Annapurna Labs 联合发布开源的 SGLang-Neuron v0.1.0 公开预览版,让 SGLang 推理栈原生跑在 AWS Trainium 芯片上。关键信息:

这是非 NVIDIA 芯片推理生态的重要进展,Trainium 上跑开源模型的经济账愈发可行。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →