前 Google 员工爆料：预训练+微调竟源自一个忘更新路径的 bug
ziv_ravid · x · 2026-09-27
- 播客《The Information Bottleneck》新一期邀请 Elorian AI 联合创始人兼 CEO Andrew Dai（在 Google 工作 14 年）聊视觉模型。
- Dai 是 2015 年提出语言模型预训练+微调方法论文的共同作者，他透露这一结果其实源于一个 bug：他忘记更新 checkpoint 目录，意外对语言模型做了微调。
- 节目还讨论了 Google 为何在早期 LLM 竞赛中落后，以及为什么当前模型仍数不清照片中的物体数量。Dai 认为大量推理本质上是视觉的，这正是 Elorian 在构建的方向。
「Fun」频道最新
- ICLR 审稿引发的科研自嘲:人生决策也该跑多个随机种子 — irombie · 2026-11-11
- 让 Fable 5.2「放飞做游戏」,结果得到一个 Pong 克隆 — ariG23498 · 2026-11-11
- 谷歌员工演示绕过安全过滤，手段简单到离谱 — adonis_singh · 2026-11-11
- Lamport 机器人开启预售:100 台,2027 年 Q1 发货 — R4nsack · 2026-11-11
- 让 AI 角色扮演「高执行力传奇玩家」,提示词的隐藏秘诀 — tokenbender · 2026-11-11
- 文心 5.5 纯 Python 逐帧画出 117 秒《鹈鹕测试》,还能卡鼓点剪辑 — xiaohu · 2026-11-11