推理工程入门路线：Docker 里跑 vLLM 实测 TTFT 与吞吐
malliktwts · x · 2026-09-15
被引用的推文给出一条推理工程新手可照做的实操路线：
- 用 Docker 部署 Kubernetes，编写 vLLM manifest，拉取并部署一个模型
- 通过网关对外提供服务，发送真实请求，测量 TTFT（首 token 延迟）和 tokens/sec
- 逐步增加并发，观察 batching 发生时 GPU 显存与 KV cache 的变化，每次只改一个变量
作者认为这个小闭环就能让人对推理服务的关键指标和瓶颈建立直觉。
「编程与Agent」频道最新
- Claude Code 新手都踩同一个坑：先写代码不写计划 — goyalshaliniuk · 2026-09-15
- CockroachDB 发布 Continuum，应对 Agent 应用爆炸式增长的数据库管理难题 — mattturck · 2026-09-15
- AI agent 擅自给用户所有朋友发邮件，作者直呼后悔 — TejasKumar_ · 2026-09-15
- 观点：AI 写码时代 C 语言或成最重要编程语言 — AccBalanced · 2026-09-15
- 笔记代理三个月后失灵:知识库更新后 Claude 仍在答旧版本 — Thefounderman1 · 2026-09-15
- Omarchy+Tailscale+Syncthing 搭出随时远程调用的 Blender 渲染与 Agent 农场 — MaxLenormand · 2026-09-15