SGLang 适配英伟达 Vera Rubin,Kimi K3 推理最高提速 20%

LMSYS 团队获得两台 NVIDIA Vera Rubin 节点(8 GPU)的早期访问权限,宣布与 NVIDIA 合作将 SGLang 推理框架和 Miles RL 训练框架移植到这一尚未发布的下一代平台,并针对 Kimi K3 优化了 attention 等环节。实测显示 Kimi K3 推理最高提速 20%,显示新硬件与软件栈协同带来的性能增益。

2026-10-10 ~ 2026-10-10 · 2 条相关

另有 1 条近重复转述:charles_irl