光子训练 1B GPT-2:绕过反向传播的 DFA 光学预训练登上 PNAS
IgorCarron · x · 2026-10-14
Igor Carron 转发其团队发表于 PNAS 的新论文:用「直接反馈对齐」(DFA) 算法在光电混合系统上以随机投影预训练 1B 规模的 GPT-2,全程绕开反向传播,并用光学方式实现。
要点:
- 现代深度学习训练几乎完全依赖电子加速器,反向传播是算力与能耗的主要瓶颈
- 光子方案低功耗、高速,但此前多限于推理和简单任务
- 该工作实验验证了可扩展的光学训练路径,是光学训练首次推进到 1B 级语言模型
作者同时借创业话题感叹:研究像创业一样,始终需要一点信念——并引用观点称要警惕「聪明的怀疑论者」,他们擅长提出反对意见却无法执行、解决问题,还会劝退真正的行动者。
「Infra」频道最新
- SK 海力士 HBM4 后段工艺卡壳超一年,传三星明年将夺回份额 — zephyr_z9 · 2026-10-14
- 10 人初创花 1.8 万美元自建 128GB 显存 AI 服务器，多人实测数据曝光 — bendee983 · 2026-10-14
- 二手双 3090 本地跑 LLM:装好了却没快多少,瓶颈在哪? — jonejy · 2026-10-14
- 哈密—重庆特高压通电：16ms 送绿电 2000 公里喂 AI — 96Stats · 2026-10-14
- 关键 API 从 Node 迁到 Bun：p99 延迟降 80%，内存省 63% — DanielLockyer · 2026-10-14
- Agent 流量难倒推理服务器:长前缀缓存命中决定成本 — rohanpaul_ai · 2026-10-14