SentencePiece 推出 Auto-character Coverage,替代字节级 BPE 的新方案
prajdabre · x · 2026-09-12
SentencePiece 作者 Taku Kudo 宣布在 0.2.3 版本中加入「Auto-character Coverage」模式（--autocharactercoverage=true），作为 Byte-Level BPE（BBPE）的干净替代方案。
- BBPE 以 256 个原始字节为原子单位，无 OOV 但常把文本切分成无法独立解码的畸形 UTF-8 片段
- 新模式在给定词表预算内，通过数学优化自动分配单字符与多字符子词的预算，遵循 UTF-8 字符边界
- 官方文档称在 13 种语言、390MB Wikipedia 语料的基准上实现相当或更好的压缩率
「研究」频道最新
- 印度学者今年在 A* 级 ML 会议上表现如何？ — cneuralnetwork · 2026-10-31
- PostTrainBench 轨迹数据集月下载破 10 万,作者警告是 RL 奖励作弊所致 — maksym_andr · 2026-10-31
- MIT『95% AI 试点失败』论断一年后被重新审视 — killboy123 · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 30 位专家定义 AI 临床安全分类法，压测显示离自主诊疗仍很远 — AleksandraFaust · 2026-10-31
- 复旦腾讯清华推出 ExplorationBench：55 个改动规则考验 AI 真探索能力 — jiqizhixin · 2026-10-31