一份讲透推理引擎的完整幻灯片：KV 缓存到 agent 循环全流程
zainhas · x · 2026-09-12
zainhas 在 Presidio Bitcoin 开源 AI 峰会上做了题为「推理引擎究竟如何工作」的演讲，并公开了全部幻灯片，覆盖一次请求端到端的生命周期：
- 推理引擎本体
- KV 缓存与前缀缓存
- continuous batching(连续批处理)
- Paged Attention
- chunked prefill(分块预填充)
- 采样
- 从引擎内部视角看 agent 循环
适合想系统理解 LLM 推理服务栈原理的开发者。
所属事件:推理引擎工作原理讲座幻灯片完整公开(4 条相关)→
「Infra」频道最新
- Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s — viveky259 · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31
- a16z 数据：GPU 租金三个月涨 106%，token 价格反跌 58% — a16z · 2026-10-31
- vLLM nightly 支持 PLE 磁盘卸载,PR 标签现「Qwen4Exp」引 Qwen4 猜想 — rmhubbert · 2026-10-31
- 按分钟租 GPU 渲染只要 1 美元:一人 AI 工作室工作流曝光 — r0ck3t23 · 2026-10-31