SentencePiece 推出 Auto-character Coverage,替代字节级 BPE 的新方案
prajdabre · x · 2026-09-12
SentencePiece 作者 Taku Kudo 宣布在 0.2.3 版本中加入「Auto-character Coverage」模式（--autocharactercoverage=true），作为 Byte-Level BPE（BBPE）的干净替代方案。
- BBPE 以 256 个原始字节为原子单位，无 OOV 但常把文本切分成无法独立解码的畸形 UTF-8 片段
- 新模式在给定词表预算内，通过数学优化自动分配单字符与多字符子词的预算，遵循 UTF-8 字符边界
- 官方文档称在 13 种语言、390MB Wikipedia 语料的基准上实现相当或更好的压缩率
「研究」频道最新
- 哥伦比亚大学将办 AI 与基因组学驱动的生物地理学前沿研讨会 — sarameghanbeery · 2026-09-12
- 日本官方办 AI for Science 研讨会,DeepMind 科学家登台分享布局 — heiga_zen · 2026-09-12
- 果蝇全脑模拟学会解魔方，引燃计算主义意识论战 — sebkrier · 2026-09-12
- 25 位菲尔兹奖得主联合警告:AI 目标与数学严重错位 — The Decoder · 2026-09-12
- LuxoBench:用「把渲染图造出来」考核 AI 硬件工程能力 — vincent_koc · 2026-09-12
- Q2D-Web 基准发布：7 万 agent 查询评测 1.9 亿网页检索 — antoine_chaffin · 2026-09-12