微软 AI 布道者发文:LLM 本质只是猜下一个词,一切 agent 都是其封装
sethjuarez · x · 2026-09-08
微软 AI 平台布道者 Seth Juarez 发布长文《How the Machine Guesses the Next Word》，作为 agent 系列的开篇，主张：语言模型就是一个 next-token 预测机器，之后所有 agentic 能力都是围绕这一个机制构建的运行时。
核心内容：
- 模型「知道」巴黎是法国首都是错觉：给定前文，它只是计算出词表中最可能的下一个 token，仅此而已。
- 文本先被切成 token（常按 byte-pair encoding 把高频字符序列合并），模型的世界只是一串整数 token ID，从未见过字母本身。
- 训练可以一句话概括：喂数据、遮住下一个词、猜、看错多少、往更对的方向微调，重复数万亿次，「语法和推理就从旁边掉出来了」。
- 文章定位是为后续逐层构建会规划、会行动的 agent 打地基。
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Hugging Face 线下研讨会：微软、Mercor 等四方实战分享 Agent 后训练方法 — Hugging Face · 2026-10-26