will cb 提出电路视角:ML 本质是带复杂度先验的程序搜索
willcb · x · 2026-10-16
will cb 发布一条理论线程，主张现代深度学习没有看起来的那么神秘：
- 核心论点：良好正则化的机器学习本质上是“行为良好的”——你是在为数据和目标做程序搜索，带有某种“表观复杂度”（epiplexity）先验；“我们在审美上希望它更神奇，但它其实没那么多魔法”。
- 对叠加（superposition）框架表示不解：他的心智模型来自布尔电路，“递归泛化”本质上就是 grokking 得到的东西；后门可能在，但若无对抗数据不会从训练中自发涌现。
- 大模型更样本高效假说：更大模型拥有更多可组合的既有子电路，某些对小模型在给定数据量下难找的有用子电路，在大模型中通过组合涌现；找到后可经蒸馏借 logit 级训练的更丰富信号回迁到小模型。
- 电路可用比特表达：fp4→fp8→bf16→fp32 对表达力损伤不大，更多影响优化动力学；RL 先找到高阶位。
所属事件:研究者称电路视角可消解深度学习大部分谜团(4 条相关)→
「研究」频道最新
- UCSD团队提出数据集水印法，仅凭API输出即可检测训练数据盗用 — yuxiangw_cs · 2026-10-16
- EmbodiedEvo 让 Agent 传承经验：登顶 RoboDojo 榜单 — Aiden_Tech_Ai · 2026-10-16
- 审稿人吐槽 CHI 论文 Discussion 普遍不引用文献 — IanArawjo · 2026-10-16
- 研究者驳「理解神经元即理解网络」：误差会复合放大 — StephenLCasper · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- Agentic Search 只奖励最终答案，推理步骤是否忠实成疑 — burkov · 2026-10-16