Reddit 高赞讨论:ViT 能表达任意卷积层,但小设备上 CNN 先验仍不可替代
burny_tech · x · 2026-11-19
帖子分享了一张 Reddit 截图,讨论 ViT 与 CNN 的先验取舍:注意力头足够多的 ViT 在数学上能表达任意卷积层,CNN 只是把先验提前固定下来;而在数据够多时这个先验未必正确。ViT 流行的原因是有在海量数据上训练的大模型替你省掉了先验设计。
但结论有条件:在小型边缘设备上,小 ViT 可能没有足够参数表达所需的东西,此时 CNN 的内置先验仍然有优势。
「Infra」频道最新
- 为 opencode RL 调优的 Qwen3.8-27B 登陆 Mac,4-bit 跑出 156 tok/s — yb2698 · 2026-11-19
- 开发者做 WebGPU playground 演示 Qwen3.5-0.8B 权重空间编程 — wsxiaoys · 2026-11-19
- 印度 Sarvam AI 澄清:Token Factory 用自购 GPU,不涉政府补贴 — HimanshiET · 2026-11-19
- FT 测算:Anthropic 需年入 6020 亿美元才能覆盖万亿算力承诺 — rohanpaul_ai · 2026-11-19
- FT 测算:Anthropic 需年入 6020 亿美元才能对万亿算力承诺回报 20% — rohanpaul_ai · 2026-11-19
- Linux Mint 官网全线下线,疑似托管商 DNS 故障而非域名丢失 — kingslyj · 2026-11-19