CoBPE 分词法让序列缩短 30%，同等算力下 LLM 效果更好
alisawuffles · x · 2026-10-08
Yuval Reif 在 COLM 2026 分享的 CoBPE 方法针对 BPE 分词的浪费问题：以《霍比特人》开篇句为例，BPE 用 13 个 token，其中 7 个花在 "in"、"a"、"the" 和标点上；CoBPE 将这些附着到词上后只需 6 个 token，文本相同。跨英语语料统计，序列整体缩短 30%，同等算力下训练出的 LLM 效果更好。
「研究」频道最新
- 实验发现:更强模型写出的自动评测确实更靠谱 — danshipper · 2026-10-08
- 腾讯发布 WorkForge:可扩展合成可验证长程工作 Agent 训练环境 — teortaxesTex · 2026-10-08
- 掩码几何编码器 MGE：随机丢帧+自蒸馏提升 3D 基础模型鲁棒性 — zhenjun_zhao · 2026-10-08
- DensiTok：用流匹配补全未见视角的几何 token，即插即用增强 3DGS — zhenjun_zhao · 2026-10-08
- 水下 3D 重建新法：将平端口相机图像扭曲为针孔透视校正折射 — zhenjun_zhao · 2026-10-08
- MoSE3：追踪分支+可微 Horn 拟合，逐像素恢复世界坐标系 SE(3) — zhenjun_zhao · 2026-10-08