反馈连接为何失效？自上而下投射需搭配噪声才提升视觉鲁棒性
maier_ak · x · 2026-10-23
Andreas Maier 解读发表于 Patterns 的研究(作者来自 Hertie 研究所、图宾根大学、罗马和 Karl Friston 团队)：生物视觉皮层充满反馈连接，但人工网络中加入反馈效果一直不明，这项研究给出具体答案——反馈本身对鲁棒性几乎无用，需要网络中存在噪声才能发挥作用。
- 实验设计：训练三层卷积循环网络在 CIFAR-10/100 上分类，每张图经过 10 个循环步骤；对比「仅前馈+侧向连接」与「增加自上而下投射」两种架构，参数量严格匹配，并各训练多个实例以消除个体差异。
- 关键操作：用 dropout(训练时随机静默一半单元)模拟生物神经元的内在变异性；消融对照显示只有「反馈 + dropout」组合才带来鲁棒性提升。
- 稳健性说明：作者改用高斯激活噪声替代 dropout 以排除反馈优势来自训练信号的可能性；文中也承认局限——仅小型 CIFAR 模型、迁移攻击较弱。代码和权重已开源。
所属事件:研究称自顶向下反馈须配噪声才能提升视觉模型鲁棒性(2 条相关)→
「研究」频道最新
- 意识科学家 Anil Seth 撰文:意识是生命的属性而非计算,造有意识 AI 是坏主意 — anilkseth · 2026-10-23
- Chronoberg 语料库入选 EMNLP 口头报告：LLM 按现代词义误判历史文本 — mundt_martin · 2026-10-23
- 作者用 AI+Lean 做定理证明遇挫：OpenAI 数学突破靠非形式化推理 — Singularitarian · 2026-10-23
- PN-Mix 论文：2.26-bit key cache 量化跑赢 2.32-2.39-bit 基线 — pmttyji · 2026-10-23
- 开普勒的启示：工具失灵时，靠「形而上学预设」撑起成功的天文学 — fkasummer · 2026-10-23
- 耗时两个月啃完 Umar Jamil 19.5 小时分布式训练视频，写出 4900 字复盘 — ariG23498 · 2026-10-23