优化 Qwen3.8-27B 在单张 MI300X 上提速 59%
cheptsov · reddit · 2026-08-21
dstack 展示了使用其开源工具包在单张 AMD MI300X 上优化 Qwen3.8-27B 推理的案例。通过链接优化会话和对 SGLang 的 AITER 注意力后端进行源码级补丁，成功将推理速度从 311 tok/s 提升至 495 tok/s（+59%）。优化后的配置支持 100 万上下文，p50 TTFT 低于 1.5 秒，并能支持四并发用户（10k in / 1.5k out）。最终输出是一个可移植的预设，可部署在任何 AMD 云、Kubernetes 集群或裸金属集群上。
「Infra」频道最新
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16
- Meta 开源 816B 参数 Muse Spark Open，Groq 预览跑出 350+ tokens/秒 — GroqLLC · 2026-10-16