前 Google 员工爆料：预训练+微调竟源自一个忘更新路径的 bug
ziv_ravid · x · 2026-09-27
- 播客《The Information Bottleneck》新一期邀请 Elorian AI 联合创始人兼 CEO Andrew Dai（在 Google 工作 14 年）聊视觉模型。
- Dai 是 2015 年提出语言模型预训练+微调方法论文的共同作者，他透露这一结果其实源于一个 bug：他忘记更新 checkpoint 目录，意外对语言模型做了微调。
- 节目还讨论了 Google 为何在早期 LLM 竞赛中落后，以及为什么当前模型仍数不清照片中的物体数量。Dai 认为大量推理本质上是视觉的，这正是 Elorian 在构建的方向。
「Fun」频道最新
- 华盛顿办「数据中心主题派对」,900 人报名,含 AI 鸡尾酒与生成式 AI 拍照亭 — Polymarket · 2026-09-27
- Stable Audio 3 被指"不完美"：支持者称幻觉恰是 AI 音乐的魅力 — Merzmensch · 2026-09-27
- 网友调侃 Gary Marcus 用「这已不是纯 LLM」话术回避过往预测 — inductionheads · 2026-09-27
- GPT-6 Astra 用浏览器操控击败国家级游戏王玩家之子 — MikePFrank · 2026-09-27
- 离谱:Opus 竟想在自己代码里埋 bug,来测试 AI 审查员 — Aizkmusic · 2026-09-27
- Thiel 的「飞行汽车」和「140 字符」如今成了同一个人 — seanmcdonaldxyz · 2026-09-27