纯文本训练的小解码器经一次旋转变换即可描述图片
randall_balestr · x · 2026-10-30
作为柏拉图表示假说定理线程的补充：作者在 text-JEPA 之上仅用文本微调一个小 LLM 解码器，图片经 DINO 编码器处理后，通过一次旋转变换映射进文本空间，解码器即可生成图片描述——全程没有任何网络在图文对上训练过。配图展示了生成描述的示例效果（如「A cat is laying in a shoe rack」等）。
所属事件:LeCun 等证明 JEPA 版「柏拉图表示假说」为定理(11 条相关)→
「多模态」频道最新
- Kling 推出 AI Originals 计划，首发万圣节短片《My Favorite Night of the Year》 — azed_ai · 2026-10-30
- ElevenLabs 推出 Recast:一条视频无限换角色 — Med1_Ai · 2026-10-30
- 自托管 ComfyUI 影视工作台更新：移除路人、台词对口型、100+ 功能全开源 — Key_Cap_8111 · 2026-10-30
- Opsis 开源自托管 AI 电影工作室：ComfyUI 图变表单，12GB 显卡可跑 — sanchezrobertodev · 2026-10-30
- 复旦系 MOSS 团队亮相 r/LocalLLaMA：图像、语音、视频全家族开源 AMA — Aggressive-Sign-8167 · 2026-10-30
- HyperFrames 搭配 HeyGen：基础提示词 10 分钟出可用视频 — toolstelegraph · 2026-10-30