kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权
kalomaze · x · 2026-10-29
AI 研究者 kalomaze 表示，他曾用「对固定大小 UTF-8 位做线性投影、完全没有专用 embedding 表」这种看似很蠢的 tokenizer 基线并取得了不错效果，因此认为 BPE 在分词领域的统治地位更多来自惯性而非必要性。
所属事件:研究者称 BPE 分词器只是惯性赢家，替代方案仍存挑战(2 条相关)→
「研究」频道最新
- 把测谎仪编进权重:Qwenputer 实测标记 91% 谎言零误报 — teortaxesTex · 2026-10-29
- 从业者观点：如今的头部厂商几乎没人直接在测试集上训练 — nrehiew_ · 2026-10-29
- 学者公开批评 OpenAI 杨-米尔斯证明仅向小圈子开放材料 — anshulkundaje · 2026-10-29
- KITP 成立杨-米尔斯工作组，解读 AI 相关数学结果遭质疑 — anshulkundaje · 2026-10-29
- BU 求职市场论文：工程师学会分会让区域高价值专利增 4.8% — Afinetheorem · 2026-10-29
- Fleuret 质疑自提升训练:只强化简单部分,难让模型超越自身 — francoisfleuret · 2026-10-29