ViT 为何胜过 CNN:被引 11 万次论文揭示大规模预训练压过归纳偏置
moschles · reddit · 2026-11-19
Reddit 用户 moschles 回顾了 ViT 流行的根本原因,核心引用 Google Research 的经典论文《An Image is Worth 16x16 Words》(arXiv:2010.11929,引用超 11.3 万次)。
- Transformer 缺少 CNN 固有的归纳偏置(平移等变性、局部性),在 ImageNet 等中等规模数据上直接训练时,精度反而低于同等规模 ResNets。
- 但当预训练数据扩大到 14M–3000M 张图像后,局面逆转:大规模预训练胜过归纳偏置。预训练于 ImageNet-21k 或 JFT-300M 的 ViT 在 ImageNet 达 88.55%、ImageNet-ReaL 90.72%、CIFAR-100 94.55%,并在 19 项任务的 VTAB 套件上达 77.63%,追平或超越当时 SOTA。
- 帖子还串联了何恺明等人的 MAE 论文(arXiv:2111.06377):将图像切 patch 当作 token 做掩码自监督预测,是 ViT 可扩展性的关键。
- 结论:这种自监督 token 化方法在小数据上明显劣于 CNN/CNN+注意力,但在大规模训练下反超,CIFAR-10 的 SOTA 目前也是一个预训练 ViT。
「研究」频道最新
- Empire AI 在纽约设 120+ 个早期职业研究岗位,Cornell 博士后申请截止 12/15 — dianarycai · 2026-11-19
- 作者反击 ICLR 撤稿争议:写了长 rebuttal 却无人回应,为何不能撤? — hbouammar · 2026-11-19
- 1.5B 小模型 31ms 出决策,胜过 4B 对手拿下同尺寸第一 — Cod3Conjurer · 2026-11-19
- 训练前先验证:把轨迹提炼成技能喂进上下文重跑评测 — ziv_ravid · 2026-11-19
- 从动机到数据到评测:工程师长文拆解企业级 post-training 全流程 — ziv_ravid · 2026-11-19
- Science Advances:对话语义相似度的粉红噪声可预测交谈愉悦度 — MacrinePhD · 2026-11-19