Reddit 高赞讨论:ViT 能表达任意卷积层,但小设备上 CNN 先验仍不可替代

burny_tech · x · 2026-11-19

帖子分享了一张 Reddit 截图,讨论 ViT 与 CNN 的先验取舍:注意力头足够多的 ViT 在数学上能表达任意卷积层,CNN 只是把先验提前固定下来;而在数据够多时这个先验未必正确。ViT 流行的原因是有在海量数据上训练的大模型替你省掉了先验设计。

但结论有条件:在小型边缘设备上,小 ViT 可能没有足够参数表达所需的东西,此时 CNN 的内置先验仍然有优势。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →