研究者主张电路视角可解释深度学习大部分“神秘”现象
willcb · x · 2026-10-16
开发者/研究者 willcb 连发推文讨论电路（circuit）理论视角：他认为，如果接受电路视角，现代深度学习的许多所谓谜团会消失；并猜测这一现象可能远不止于 copy circuits——预训练或通过层次化 grokking 更广泛地促进子电路的构建。
他还认为，尽管理论工作强调 transformer 在电路理论上的局限，解决推理很可能需要强电路组合性，未来架构或许是某种自适应深度混合层结构。
所属事件:研究者称电路视角可消解深度学习大部分谜团(4 条相关)→
「研究」频道最新
- 可解释性研究者泼冷水：模拟不了神经元就不算真正解释了它 — nabla_theta · 2026-10-16
- MLP-Splatting 论文开源:用光场原语替代高斯泼溅 — AjdDavison · 2026-10-16
- 四页短文解 subcubic 全对最短路径，借力 Anthropic AI 参与的突破 — gautamcgoel · 2026-10-16
- 浙大等团队发布 ATAS 框架：用世界状态记忆实现一致性长视频生成 — CSProfKGD · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16