giffmana 论战 tokenizer 语义漂移:编码器不都是分词器
giffmana · x · 2026-10-21
知名研究者 giffmana(演示了 MAE、DINO、SigLIP 等)在 X 上就「tokenizer」一词的用法展开讨论,表示完全认同 Tim Darcet 的观点:编码器(encoder)是把原始输入转成更可用形式的部件,MAE 的 encoder、DINO 的 encoder、SigLIP 的图文 encoder、VQ-VAE 的 encoder 都是 encoder,但只有 VQ-VAE 这类把输入离散化为 token 的编码器才算 tokenizer。他观察到在 LLM/多模态时代长大的新一代研究者正在慢慢漂移这个词的语义,并自嘲是「对着云喊话的老头」。被引用的 Alan Baade 解释了为何在论文中用「tokenizer encoder」这一说法:encoder 一词在 enc-dec Transformer、MAE/MAR 等语境中太 overloaded,需要指明模型生成所在的空间。
所属事件:研究者论战 tokenizer 术语:encoder 还是 tokenizer(3 条相关)→
「研究」频道最新
- 一条 L-system 规则长出树、蕨、闪电、河流与肺,45 秒全代码电影 — prasenx · 2026-10-21
- MOSS-Image 文本编码器支持多模态，可直接输入图像作为条件 — RandumbRedditor1000 · 2026-10-21
- NIH 资助论文免付费公开：作者手稿须无禁期上传 PMC — anshulkundaje · 2026-10-21
- Creed 论文：从代码推断开发者信念，做首个语义级安全审计 — mboehme_ · 2026-10-21
- 5 人团队用 Claude 调度 300 个 agent，64 小时设计 31.8 万条蛋白质 — 141_1337 · 2026-10-21
- ProVADA 统一框架：去免疫化 CAR 结合体与胞质酶复活一次搞定 — BrianHie · 2026-10-21