研究者论战 tokenizer 术语:encoder 还是 tokenizer

知名研究者 Lucas Beyer(giffmana)与 Tim Darcet、Alan Baade 等人就「tokenizer」一词的用法在 X 上展开讨论。giffmana 质疑学界把仅使用 DINO 等编码器的模型泛称为 tokenizer,认为编码器并不都是分词器,存在术语语义漂移。Baade 回应称并非执着于「tokenizer」,而是「encoder」语义过于超载,故论文中改用「tokenizer encoder」这一称呼。

2026-10-20 ~ 2026-10-21 · 3 条相关

• giffmana 质疑学界把 encoder 泛称为 tokenizer 的术语漂移 — giffmana · 2026-10-20
• Baade 解释论文为何弃用 encoder 改称 tokenizer encoder — BaadeAlan · 2026-10-21
• giffmana 论战 tokenizer 语义漂移:编码器不都是分词器 — giffmana · 2026-10-21