CoLT 让多模态模型用隐变量思考，推理提速 10.1 倍
jiqizhixin · x · 2026-07-23
新加坡南洋理工大学等机构提出 CoLT，让多模态模型不再靠冗长文本逐步推理，而是通过一串 latent thoughts（隐变量思维） 来完成中间推理。
关键做法
- 用隐藏表示代替显式文字链式思考。
- 通过一个轻量解码器对每个 latent step 做监督，保证训练稳定。
- 相比一些依赖昂贵图像标注的 latent reasoning 方法，标注成本更低。
论文结果
- 优于现有 latent reasoning 方法，如 CODI、SIM-CoT。
- 推理时间缩短 10.1 倍。
- 文本解码量减少 22.6 倍。
帖子同时给出论文、代码和报告，核心结论是：CoLT 让 VLM 的“思考”更短、更快，也更便宜。
「多模态」频道最新
- Midjourney SREF 宝库 TischEins 因安全问题下线后全新重构回归 — tisch_eins · 2026-10-26
- MOSS-Image 4 步蒸馏版 HF 下载破 1.65 万,出图质量几无损耗 — _akhaliq · 2026-10-26
- 用 Claude Code 搭视频剪辑流水线,十段 prompt 从粗剪到成片 — TawohAwa · 2026-10-26
- 一句话生成3D世界，再用AI重绘成电影级镜头 — gizakdag · 2026-10-26
- 零实拍造出一整部电影世界：CineMap 导演分镜配 TapNow 成片 — gizakdag · 2026-10-26
- 快手 Kling 对阵字节 Seedance：中国 AI 视频模型竞争观察 — DavidmComfort · 2026-10-26