AI 基础设施工程师必做项目：vLLM 调优到 KV-Cache 路由
snowclipsed · x · 2026-10-12
原帖是一条玩梗转发：给 Twitter 加一个「AI Native gateway」过滤垃圾内容，号称把 TTFBT（time to first brain tumor，首次脑瘤时间）降低 98%。
被引用的正经内容是给 AI 基础设施工程师的项目清单，包括：
- 高吞吐推理服务调优：部署 vLLM 或 SGLang，针对特定 GPU 架构调 chunked prefill、continuous batching 和 max-num-seqs——默认配置会浪费约 60% 的 VRAM；
- KV-Cache 前缀路由代理：对系统提示做哈希，把请求路由到内存中持有对应 KV-cache 块的副本，复用上下文可让 TTFT 降低 80%；
- 自定义融合 Triton kernel：手写融合的 RMSNorm 或 RoPE kernel（正文被截断）。
「Infra」频道最新
- 微软官宣 Maia 300 自研芯片：2027 年多吉瓦部署，能效超 GPU 40% — satyanadella · 2026-10-12
- 月租 800 美元租 64 核 256GB 服务器，同时跑 10 个 AI 会话和 30 个子 Agent — TheZachMueller · 2026-10-12
- 微软发布第三代自研 AI 芯片 Maia 300,目标降低对 Nvidia 依赖 — The Verge AI · 2026-10-12
- NuMind 开源 vLLM 插件：让已加载的 LLM 免费输出多模态嵌入 — Gailenstorm · 2026-10-12
- 独立研究者单块 GH200 预训练 21B MoE：MFU 从 21% 提到 50% — Prestigious-Taste-63 · 2026-10-12
- opentel-mcp v0.17 发布：为 MCP 工具加上数据新鲜度检测与凭证脱敏 — Thirumalaiboobathi · 2026-10-12