新思路：Transformer 字节级嵌入实现混合自回归

有博主提出一种在 Transformer 中嵌入字节级 token 的技术思路：通过拼接并投影 BPE 定义范围内的字节 token 最终隐藏状态，实现双向长度与块因果的混合精确自回归。该方法试图调和字节级建模与内核因子化之间的冲突，为架构设计提供了新的探索方向。

2026-08-19 ~ 2026-08-19 · 2 条相关

• 在字节级 token 上实现双向与块因果混合自回归 — kalomaze · 2026-08-19
• 探讨 Transformer 字节级嵌入与内核因子化冲突 — kalomaze · 2026-08-19