宾大 Kording 发文拆解 LLM 工作原理：从逐词生成到智能体

8 月 26 日，宾夕法尼亚大学教授 Konrad Kording 在 X 上发布一组面向「有知识背景的大众读者」的 LLM 工作原理解释长文，NLP 知名学者 Yoav Goldberg 也同步发布该内容。两位作者均说明：此文与 Tim 合作完成，灵感来自 CIFAR 的 LMB 讨论会，经 Brett Mensh 优化，并将成为后续论文稿件的一部分。这一发布填补了「写给懂行大众」的 LLM 原理解释的空白。

已确认

• LLM 核心机制：真正的处理由神经网络完成，根据输入逐词生成答案，每个词的概率取决于之前的词，模型按概率逐词选择构建回答（m8）。LLM 的核心任务是将提示词转为答案，通过语言模仿与人类对答案质量的评分两个目标实现，包含产生答案（推理）与改进答案（训练）两类组件（m9）。
• 2022 年时代的旧版 LLM 虽能生成令人印象深刻的文本，但本质上接近「随机鹦鹉」，流于表面；此后 AI 创新速度极快，已超越这一阶段（m6）。
• 提升回答质量的三种思路：一是「内隐语言」，即让模型生成用户看不见的文字作为思维草稿或暂存区，通过内部推演辅助生成最终答案（m7）；二是工具调用，让模型调用数据库、互联网搜索、计算器等外部程序弥补知识与计算能力的不足（m4）；三是构建智能体，将组件化的 LLM、记忆模块、数据库与工具调用整合协调以解决复杂任务（m5）。
• 训练层面有两种改进策略：在有明确「真理」定义的领域（如数学、编程）以训练目标强推模型向真理靠拢；在开放领域则利用 LLM 自我评估检查答案（m3）。
• 综合结论：当今交互式「思考」机器本质上是旧配方（预测下一个 token 的神经网络训练）的延伸，加上内隐语言、工具调用、智能体协调机制与更优评估体系共同构成现代 AI 能力（m2、m10）。Kording 实验室强调，今天 LLM 的诸多优势与短板都可以从这一系列组件思想来理解（m10）。

为什么重要

目前市面上的 LLM 科普多面向完全外行或纯专业读者，这篇介于两者之间的解释为「懂一点但不做 AI」的技术人群提供了系统框架：用组件化视角把内隐语言、工具调用、智能体等热点概念统一到同一演化脉络中，有助于读者理解当前模型为何强、又为何仍会犯错。该内容将纳入后续正式论文，具备引用价值。

2026-08-26 ~ 2026-08-26 · 11 条相关

• 【源头】神经科学家 Kording 写给内行大众的 LLM 工作原理长文解释 — KordingLab · 2026-08-26
• LLM 本质：提示词转答案的神经网络训练与推理 — KordingLab · 2026-08-26
• LLM 的核心机制：基于概率的逐词生成 — KordingLab · 2026-08-26
• 从“随机鹦鹉”到快速演进的现代 LLM — KordingLab · 2026-08-26
• 提升 LLM 回答的第一种思路：内隐语言 — KordingLab · 2026-08-26
• 增强 LLM 回答的第二种思路：工具调用 — KordingLab · 2026-08-26
• 生成答案的第三种思路：构建智能体 — KordingLab · 2026-08-26
• 提升 LLM 能力：真理引导与自我评估机制 — KordingLab · 2026-08-26
• 现代交互式思考机器的演化配方 — KordingLab · 2026-08-26
• 【源头】从组件思想看今日 LLM 的强弱：旧配方加内语与工具 — KordingLab · 2026-08-26
• 【源头】Yoav Goldberg发LLM工作原理科普长文：面向懂行大众 — yoavgo · 2026-08-26