新预印本《Tokenizer Myths》系统拆解分词器迷思
RylanSchaeffer · x · 2026-11-06
研究者 Rylan Schaeffer 在 GV 团队主办的 SF 研究之夜预讲后，公开了新预印本《Tokenizer Myths and Where To Find Them》，针对关于 tokenizer 的常见误解做系统性辨析。具体结论需读原文，但对预训练与模型效率方向的研究者是有参考价值的方法论文献。
「研究」频道最新
- 研究者叹 LLM 评审已成定局：别再拿它当拒稿借口 — examachine · 2026-11-06
- 芝大数据科学 Rising Stars 2026 名单公布，聚焦世界模型与多模态数据基础 — cindy_x_wu · 2026-11-06
- Surge 研究团队点赞 Tinker：并行跑 RL 实验，一行代码换模型 — echen · 2026-11-06
- 120B 开源模型经 Surge RL 训练，12 项基准全面逼近 GPT-5.6 — echen · 2026-11-06
- BMVA 计算机视觉可解释性研讨会征稿:2027 年 1 月伦敦举办 — HildeKuehne · 2026-11-06
- Memorilla 记忆系统：省 4000 倍 token、快 27 倍替代全上下文推理 — ShirleyYXWu · 2026-11-06