探讨移除 Embedding 表与字节级 Tokenization
kalomaze · x · 2026-08-19
讨论指出，类似 Gemma 4 12B 的架构表明模型可能正在转向直接对原始比特/数据进行线性投影，类似于现代 ViT，从而可能移除 'embedding table' 这一传统概念。回复批评 BLT 等论文对此不够坚决，更像是基于熵修补的启发式方法，而非真正严肃的底层字节级研究。
所属事件:模型架构热议：直接投影或取代嵌入表(3 条相关)→
「研究」频道最新
- 论文：愚蠢规则有助于 AI 理解人类规范体系 — ghadfield · 2026-08-19
- FAR 框架助力 AI 数学研究，解出 1977 年猜想 — wellecks · 2026-08-19
- 研究揭示 LLM 控制机械臂表现糟糕，定位与推理存缺陷 — tom_doerr · 2026-08-19
- AlphaFold 在 TNFα 蛋白预测上表现超预期 — MoAlQuraishi · 2026-08-19
- 神经研究：手写比打字更能激活全脑连接 — CurieuxExplorer · 2026-08-19
- 专家反驳 Anthropic：设计结合剂并非药物研发的完美代理 — rapha_gl · 2026-08-19