vLLM 用 agent 辅助 CuTe DSL 优化,加速 Kimi K3 在 GB300 上的解码
vLLM Blog · rss · 2026-10-16
vLLM 团队发布 Kimi K3 推理优化实践：用 agent 辅助的 CuTe DSL 优化，在 NVIDIA GB300 上加速 Kimi K3 的解码阶段。
文章重点不止在性能本身，更在如何「负责任地快速迭代」：通过限定改动范围（scoped changes）、正确性测试和可复现的 benchmark 流程，确保 agent 辅助的内核优化能被安全地合并上线。对做推理服务优化和 LLM 内核工程的人是很好的工程流程参考。
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23