一份讲透推理引擎的完整幻灯片：KV 缓存到 agent 循环全流程
zainhas · x · 2026-09-12
zainhas 在 Presidio Bitcoin 开源 AI 峰会上做了题为「推理引擎究竟如何工作」的演讲，并公开了全部幻灯片，覆盖一次请求端到端的生命周期：
- 推理引擎本体
- KV 缓存与前缀缓存
- continuous batching(连续批处理)
- Paged Attention
- chunked prefill(分块预填充)
- 采样
- 从引擎内部视角看 agent 循环
适合想系统理解 LLM 推理服务栈原理的开发者。
所属事件:开发者公开推理引擎工作原理完整讲座幻灯片(3 条相关)→
「Infra」频道最新
- Qwen3.8-27B 登陆 Cerebras，以极速推理跑出旗舰级成绩 — Scobleizer · 2026-09-12
- Intel 光互连耦合器实测插损 1~1.5 dB，工艺良率瑕疵可见 — jwt0625 · 2026-09-12
- MSU 世界编码器大赛:淘天 S266 系列斩获 6 项世界冠军 — 机器之心 · 2026-09-12
- CPO 论文遭质疑:DLW 芯片与 PIC 耦合方式仅以「如 TCB 等」带过 — jwt0625 · 2026-09-12
- AWS 大故障中作者靠多区切换,企业服务总停机仅 22 分钟 — generativist · 2026-09-12
- 全球数据中心耗电分布：美国占 43%，中国仅占 13% — TMWNN · 2026-09-12