复旦联合 OPPO 推出 EVA-Cap:事件中心对齐优化视听视频描述
Fudan-University · hf · 2026-10-16
复旦大学可信具身智能研究院联合 OPPO AI 中心提出 EVA-Cap,针对全模态语言模型(OLM)在视听视频描述中把字幕当非结构化文本生成、忽视视频语义结构的问题,提出事件中心的对齐框架。
- 将字幕分解为原子视听事件,把非结构化文本监督转化为事件中心的对齐信号。
- 在自建的、经事件级质量控制的 EVA-Data 数据集上,先用监督微调(SFT)训练,再用 GRPO(组相对策略优化)针对三个事件中心指标显式优化,提升细粒度视听对齐。
「多模态」频道最新
- OpenAI Astra 用 PolyHaven 素材做建筑可视化，文档现 GPT-6 专页 — jason_mayes · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- 三份资源速通 FLUX 3 图像生成模型 — ariG23498 · 2026-10-16
- 网友让 Opus 5.5 造一辆新特斯拉 Roadster,结果出人意料 — TAbrodi · 2026-10-16
- Midjourney v8.2 蓝色水墨风生图实测，附 sref 风格码 — azed_ai · 2026-10-16
- 「来自异次元的 AI 电视」：机器人给吉娃娃做美容的名场面 — BotLordBotflix · 2026-10-16