斯坦福 CS336 重启:Percy Liang 讲 BPE 分词的 LLM 生命周期角色
stanfordnlp · x · 2026-10-16
Stanford NLP 转推 CS336《从零构建语言模型》课程重启后关于分词的片段:Percy Liang 讲解 tokenizer 如何把原始字节转换为整数 token 序列(以 "Stanford was founded in 1885." 的编码示例演示 encode/decode),并介绍 BPE(字节对编码)算法——从单字节开始,反复合并最高频相邻对形成更大 token,如 "unhappiness" 可拆为 "un"+"happi"+"ness"。BPE 流行的原因在于平衡词表大小与上下文长度:常见词/子词成为单 token,稀有词则由多个子词拼接。
「研究」频道最新
- 仅 1 克！无线微型显微镜实现自由活动小鼠全皮层单细胞成像 — KordingLab · 2026-10-23
- Mike Frank 抛出超导可逆计算难题:能否用无偏置约瑟夫森结凑齐 BARCS 通用原语集 — MikePFrank · 2026-10-23
- Arc Institute 用基因组语言模型绘制原核非编码序列图谱 — tedgreenwald · 2026-10-23
- 同行评审的 AI 化：审稿人终于「进入附录」了 — abursuc · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23