BERT 时代旧实验浮出:冻结视觉编码器加线性层即可对齐语言
ylecun · x · 2026-10-10
前 FAIR 研究员 Thomas Scialom 在与 LeCun 的讨论中回忆:BERT 时代他们就做过与当下多模态对齐思路相同的实验——冻结视觉编码器 + 冻结 BERT,中间只接一层线性层,效果出奇地好。他同时表示,FAIR 当年的零样本跨语言对齐工作正是他这一直觉的直接灵感来源。一条展示早期迁移对齐思路与今日多模态实践一脉相承的行业轶事。
「研究」频道最新
- 多伦多医院训练 AI 术中导航,实时标出安全切口区域 — EricTopol · 2026-10-11
- OpenAI 数论成果解读：虚二次域椭圆曲线模性突破,Hodge 论文因符号错误撤稿 — lpachter · 2026-10-11
- SpIDER 论文:让编码 agent 先找对代码位置再动手修改 — mangahomanga · 2026-10-11
- CMU 教授用 Astra 以 27KB 代码生成精细 3D 龙 — 141_1337 · 2026-10-11
- Claude 挖掘公开望远镜数据，发现158光年外三颗新行星 — DavidmComfort · 2026-10-11
- 扩散 LM 最佳论文作者辍学斯坦福加入 OpenAI，访谈谈 AR vs 扩散 — aaron_lou · 2026-10-11