25个LLM基础面试题：从token到scaling law全覆盖

techNmak · x · 2026-08-16

techNmak 整理了一份包含25个LLM基础面试问题的清单，涵盖核心机制（输入到输出token的过程、自回归建模、logits/softmax）、解码与训练目标（贪心解码、温度、top-k/top-p、交叉熵、困惑度）、分词（BPE、WordPiece、SentencePiece、特殊token）、上下文与表示（嵌入、上下文窗口、Lost in the Middle）、提示与架构（few-shot、in-context learning、编码器/解码器）、扩展与失败模式（参数数量、神经缩放定律、Chinchilla、数据质量、记忆vs泛化）。每个答案都基于实际论文。