kalomaze 炮轰 cross-attention 架构：「没信念才用 cross attn」

kalomaze · x · 2026-10-29

知名研究者 kalomaze 与 teortaxesTex 讨论架构设计时放话：到 2026 年 10 月，BLT 这类方案已不该再进 baseline 对比；并把「单独训练、用丑陋 cross-attention 拼接的网络」这类启发式称为一种 code smell——「当你对图里这部分该做什么没有信念时，才会用 cross attn:给注意力被动喂信息，说它是序列的一部分吧，又不算真正的一部分」。

这条观点针对当前流行架构中「外挂模块+cross-attention 融合」的设计潮流，代表了研究者社区对这类拼接式架构的反思情绪。