LLM推理阶段工作原理详解
Normal-Tangelo-7120 · reddit · 2026-07-12
这是一篇面向软件工程师的 LLM 基础系列第 4 部分，主题是“按下回车到看到第一个词”之间模型内部发生了什么。 文章主要解释了： - 模型如何 **逐 token 生成**，以及为什么这会带来延迟 - **KV cache** 的作用，以及它如何缓解推理成本 - **temperature、top-k、top-p** 等解码策略如何影响输出 作者同时给出了系列前 3 篇的链接，覆盖 tokenization、loss/backprop、scaling/fine-tuning/RLHF/DPO 等基础内容。