Kimi 联合 AMD 优化 MI355X 服务栈，TTFT 降 3.2 倍
AnushElangovan · x · 2026-07-23
Kimi 和 AMD 表示，他们针对 agent 工作负载重构了 Kimi K2.6 在 AMD Instinct MI355X 上的服务栈，以应对长上下文、突发流量和频繁工具调用。
这次优化引入了 感知调度的多层 KV 缓存，并宣称实现了最高 3.2× 更低的 p99 TTFT 和 7.7% 更高的总 token 吞吐，且不牺牲准确率。原帖同时给出了技术博客链接供进一步阅读。
「Infra」频道最新
- 同一套 DeepSeek 内核两种优化路线：vLLM 拆专家、SGLang 降访存 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- Anthropic S-1 披露：CSP 渠道收入占比三年从 11% 涨至 48% — AccBalanced · 2026-10-27
- Alchemy 支持 Effect Workflow:跨 Durable Objects、Workflows 与 Lambda 持久函数 — samgoodwin89 · 2026-10-27
- Alchemy 推出 Lambda Web Functions,Node 版 Web 服务器直接上 Lambda — samgoodwin89 · 2026-10-27
- profiling 实测：Alchemy Cloudflare 绑定 CPU 时间最多降 166 倍 — samgoodwin89 · 2026-10-27