LLM 看到的不是你的提示词而是 token，tokenization 科普长文
mdancho84 · x · 2026-10-31
数据科学家出身的作者提醒转型 AI 工程的人：模型看到的不是你的提示词，而是 token，tokenization 静默影响着真实系统的方方面面。
要点：
- 在学 agents、RAG、MCP、微调之前，应先理解 LLM 实际“看到”什么
- tokenization 影响的维度：上下文窗口上限、API 成本、代码生成、数字与标识符处理、多语言性能、embeddings、chat 模板、模型训练
- 常见误区澄清：BPE 不等于自动 byte-level；SentencePiece 不是一种 tokenization 算法；Token ID 本身没有语义
- 这类问题看似实现细节，直到你调试 AI 系统时才发现模型接收信息的方式与你的假设不同
配图是一份《Understanding Tokenization》技术手册目录，覆盖 UTF-8、BPE 与 byte-level BPE、SentencePiece/Unigram/WordPiece、特殊 token 与 chat 模板、多语言与代码分词、上下文长度与成本等 10 章。
「编程与Agent」频道最新
- 媒体 Every 用 4 万条主编批注训练 AI agent 做初审 — danshipper · 2026-11-01
- 开源 Skullet：自动测量组件生成骨架屏，告别手写占位符 — philipvollet · 2026-11-01
- GEAR 框架自动优化 Agent 工作流,基准通过率最高提升 13 个百分点 — Pale-Training-6944 · 2026-11-01
- 开发者实测:一人并行跑 10-12 个编码会话,瓶颈正转向决策速度 — robleclerc · 2026-11-01
- 不用一张贴图:Three.js 纯着色器渲染出会眨眼的照片级人眼 — Scobleizer · 2026-11-01
- Google Antigravity 新增安全提示：警告数据外泄与代码执行风险 — testingcatalog · 2026-11-01