在字节级 token 上实现双向与块因果混合自回归
kalomaze · x · 2026-08-19
博主提出了一种技术思路：在 Transformer 中嵌入字节级 token，通过拼接并投影 BPE 定义的局部跨度内的字节 token 最终隐藏状态，从而实现混合双向长度和块因果的精确自回归。同时评论指出，混合线性循环架构因过度坚持 token 级别的因果性，而缺乏块因果或任意双向跨度的空间。
所属事件:新思路：Transformer 字节级嵌入实现混合自回归(2 条相关)→
「研究」频道最新
- 专家反驳 Anthropic：设计结合剂并非药物研发的完美代理 — rapha_gl · 2026-08-19
- 趣事：Qwen 模型学贪吃蛇竟学会了“骑墙”生存 — mervenoyann · 2026-08-19
- 研究显示 AI 加速发现：网络提速明显，算法无明显加速 — eldonredwards · 2026-08-19
- Stanford CS25 讲义更新：涵盖从 Tokenizer 到 Transformer 全栈 — tengyuma · 2026-08-19
- 新算法实现表面表示的可微体素化 — ssh4net · 2026-08-19
- 新优化器 PoLoRA：加速 LoRA 微调且更稳定 — deepcohen · 2026-08-19