模型架构热议：直接投影或取代嵌入表

技术社区讨论指出，从低维（如8或32）直接线性投影到高维（如4096）在代数上是高度过确定的，这种过确定性在表示学习上可能从根本上优于传统的每token嵌入表。类似Gemma 4 12B的架构显示模型或转向直接对原始比特进行线性投影，类似现代ViT，从而移除embedding table概念；还有观点认为将BPE分词输入填充到最大比特数，可在标准自回归模型上实现类似操作。

2026-08-19 ~ 2026-08-19 · 3 条相关