斯坦福论文:用编程智能体现场训练光学神经网络,逼近反传精度
GordonWetzstein · x · 2026-11-20
《In Situ Training of Optical Neural Networks by Coding Agents》(arXiv:2611.23875,斯坦福 & EPFL,作者含 Gordon Wetzstein)。
- 问题:光学神经网络快且省能,但每个器件都偏离设计,必须在硬件上原位训练;传统做法依赖专家搭建的逐器件校准数字模型,或无梯度试错。
- 方法(optics as code):让编程智能体仅凭测量结果训练光学神经网络——harness 返回探针的相机图像,每次请求要求提出一个假设;同一 harness 还能训练光学图像编码器。
- 发现:智能体形成了对光学的物理理解,并用可解释的光学元件在硬件上重新参数化网络;在分类和图像编码上优于无梯度方法,以几分之一成本逼近经校准模型的反传效果。
- 意义:无需逐器件校准、无需穿透硬件的梯度,且随模型能力增强而改进,为大规模可扩展光学神经网络及通用光学实验校准优化提供了实用路径。
「编程与Agent」频道最新
- 旧 CLAUDE.md 正在拖累新 Claude:作者精简到 36 行效果更好 — PrajwalTomar_ · 2026-11-20
- 用 Claude 搭 PM/CTO/UX 虚拟团队:角色 prompt 已开源 — marilynika · 2026-11-20
- 开源 Intern 编排框架:Hy4 Flash 接棒 Opus 5.5,省近八成成本 — m4rkGS · 2026-11-20
- 开发者分享 MCP 设计心得:删掉发布工具让人工把关 — mariobalca · 2026-11-20
- 斯坦福提出 Optics as Code:编码智能体实测调光学系统,35% 提到 96.8% — GordonWetzstein · 2026-11-20
- 光学神经网络难校准?编码智能体把分类精度从 35% 拉到 96.8% — GordonWetzstein · 2026-11-20