编码智能体现场训练光学神经网络,精度 35% 升至 96.8%
斯坦福 Gordon Wetzstein 团队联合 EPFL 发表论文《In Situ Training of Optical Neural Networks by Coding Agents》(arXiv:2611.23875),提出「Optics as Code」新范式:让一个编码智能体通过 harness 直接操作光学硬件做实验,把光学神经网络接入闭环并自动调校参数,实测将分类精度从 35% 提升到 96.8%。这为长期困扰该领域的校准难题和 sim2real 差距提供了一条新路径,值得光学计算与智能体方向的研究者关注。
已确认
- 智能体仅凭光学神经网络的实测数据完成原位训练,通过可解释光学元件对网络重参数化,无需专家标定的数字模型,也无需无梯度试错。它在预训练中读过光学教材与论文,推理时像专家一样工作:形成假设、发送探针、观察结果并迭代。
- 方法核心是「先物理后设计」:智能体仅用 48 次探针测量就推算出光学系统的几何结构;随后设计阶段不更新数十万像素,而是把相位掩模写成透镜和棱镜的组合,只调节设备上的少数参数,大幅压缩搜索空间。
- 对比基线:通过校准数字孪生做反向传播可达 96.3%,但需约 67,000 张校准图像和大量 GPU 训练;无梯度基线停在 52% 附近。Optics as Code 以极少量测量达到 96.8%,优于两类基线,所需测量量约为反向传播的 1/1000。
- 同一套 harness 还能训练光学图像编码器,且更强能力的智能体带来更好结果;在分类与图像编码任务上均优于无梯度方法且成本更低。
为什么重要
- 光学神经网络此前受校准困难和 sim2real 差距制约,该工作展示了用智能体做「现场」实验调校的可行性。
- 智能体只需「能设置设备参数」和「能观察设备输出」两个接口,因此该范式可推广到任何可控、可测量的物理系统,潜在影响不限于光学计算。
2026-11-20 ~ 2026-11-21 · 7 条相关
一手来源
- 光学神经网络难校准?编码智能体把分类精度从 35% 拉到 96.8% — GordonWetzstein ·
- 斯坦福论文:用编程智能体现场训练光学神经网络,逼近反传精度 — GordonWetzstein ·
- 斯坦福用编码智能体原位训练光学神经网络,「光学即代码」新方法 — StanfordUniversity ·
- 【源头】光学神经网络难校准?编码智能体把分类精度从 35% 拉到 96.8% — GordonWetzstein · 2026-11-20
- 斯坦福提出 Optics as Code:编码智能体实测调光学系统,35% 提到 96.8% — GordonWetzstein · 2026-11-20
- Optics as Code 达 96.8% 准确率,仅需反向传播 1/1000 的测量量 — GordonWetzstein · 2026-11-20
- 智能体先用 48 次探测量出光学几何,再只调几个设备参数 — GordonWetzstein · 2026-11-20
- 同套 harness 还能训练光学编码器,更强的智能体效果更好 — GordonWetzstein · 2026-11-20
- 【源头】斯坦福论文:用编程智能体现场训练光学神经网络,逼近反传精度 — GordonWetzstein · 2026-11-20
- 【源头】斯坦福用编码智能体原位训练光学神经网络,「光学即代码」新方法 — StanfordUniversity · 2026-11-21