推理引擎工作原理完整讲座:作者公开全套幻灯片
zainhas · x · 2026-09-12
开发者 zainhas 宣布公开其「推理引擎到底是怎么工作的」完整讲座幻灯片,端到端覆盖一个请求的完整生命周期:
- 推理引擎整体架构
- KV cache 与 prefix caching
- continuous batching(连续批处理)
- PagedAttention
- chunked prefill
- 采样与反 tokenization
- 从引擎内部视角看 agentic loop
这是面向工程师的系统级科普材料,适合想理解 vLLM 类推理栈内部机制的读者。
所属事件:推理引擎工作原理讲座幻灯片完整公开(4 条相关)→
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31