写给工程师的 LLM 原理入门：从分词到幻觉的一次串讲

_jaydeepkarale · x · 2026-11-12

作者面向日常使用 LLM 的工程师，主张不必会训练模型，但理解底层机制能帮助调试异常行为、控制成本、做出更好的技术决策。文章以叙事方式串联核心概念：

Tokenization：模型不按词读取文本，而是先切分为 token，因此 1000 词的 prompt 未必消耗 1000 token，API 按 token 计费。
Context Window：上下文窗口有限，长对话中早期信息（如 50 条消息前的数据库 schema）会被移除或摘要，导致「遗忘」。
Embeddings：文本转向量表示以捕捉语义，使检索能按含义而非关键词匹配（如「降低 API 延迟」能匹配「提升响应速度」的文档）。
Hallucinations：LLM 靠预测下一个 token 生成文本，不会逐句事实核查，「听起来可信」不等于「正确」，会编造不存在的函数或论文。
Temperature：概率化生成导致同一 prompt 多次输出不同，低温度输出更稳定一致，高温度允许更多变化。

帖文在 Temperature 处截断，后续应还涵盖采样/模型决策机制的更多概念。整体是一份叙事驱动的 LLM 原理入门科普。

「编程与Agent」频道最新