IJCAI 2026 半日教程:统一多模态模型从建模到训练
jindong_wang92 · x · 2026-08-15
ML 研究者 Jindong Wang(王金东)宣布,将于 8 月 16 日在德国不来梅举行的 IJCAI 2026 上开设约 3.5 小时的「统一多模态模型」教程,由其学生现场主讲,支持线上(Zoom)与线下混合参加,预计受众 100–300 人,地点在会场 HS2010。
教程围绕三个核心问题展开:
- 如何建模:系统梳理统一多模态模型(UMM)架构分类——外部专家集成、模块化联合建模、端到端统一建模,并分析自回归、扩散及两者混合路线的取舍;
- 如何表示:聚焦「统一 Tokenizer」之争,对比 CLIP 式连续表示与 VQ-VAE 式离散 token,以及兼顾语义理解与生成保真的混合编码策略;
- 如何训练:覆盖完整训练生命周期,从交错图文数据构建、统一预训练目标,到 DPO、GRPO 等后训练对齐方法。
议程从多模态 AI 从孤立能力走向统一模型的演进与 UMM 定义讲起,依次深入架构、表示,最后落到实用训练配方。
「研究」频道最新
- 交互图解 Self-Attention 机制与原理 — ProfTomYeh · 2026-08-15
- 数学家用 AI 找到 30 年前猜想反例 — skdh · 2026-08-15
- 谷歌开源同态加密编译器，密文推理成为现实 — DynamicWebPaige · 2026-08-15
- 学术圈激辩：论文评审能否使用 AI 及其披露规范 — lpachter · 2026-08-15
- Claude 数日解决随机热力学开放问题 — lpachter · 2026-08-15
- GPU竞赛：紧凑Householder QR内核实现232倍加速 — petrusenko_max · 2026-08-15