字节级 Transformer 可行但吃上下文，BPE 存在自有其理
max_paperclips · x · 2026-10-24
一位开发者在讨论中表示，自己训练过一个小型 byte-level token transformer，效果没问题；但 BPE 之所以成为主流是有原因的——纯字节序列对上下文长度的消耗非常可怕。他提到 ENGRAM 这类工作反而指向更大的 token 粒度，不过他个人仍喜欢「只用原始字节」这个想法。
「研究」频道最新
- 400 步 LoRA 微调开源模型即可追平专用决策模型 Jev — vanstriendaniel · 2026-10-24
- Levine 谈机器人学习：把问题做大，通用训练胜过专精单任务 — adityaag · 2026-10-24
- BrickWright：让 Agent 搭的乐高结构 100% 物理可行 — cmu-gil · 2026-10-24
- MoE 模型「语义远距离 token 不共享专家」说法被社区笔记证伪 — NathanpmYoung · 2026-10-24
- 用 LLM 的人没用过传统分类器，老派 ML 经验正在流失 — antoine_chaffin · 2026-10-24
- Google 新研究：仅靠邻居通信的细胞自动机也能完成多步推理 — tyrell_turing · 2026-10-24