流式视频理解新基准 TRACE:8 模型同分不同效被揭穿
omlab · hf · 2026-09-28
omlab 发布 TRACE(Temporal Audit and Condition-aware Evaluation),一个面向流式视频理解的条件感知评测基准与框架。
要解决的问题:现有评测只报任务分数,不说明证据何时生效、视觉历史如何维护、响应何时触发,导致相近分数可能对应完全不同的工作负载与失败模式。
框架要点:
- 带证据时序与指令触发标注的时序审计视觉任务
- 统一的因果 Core–Adapter 协议,控制信息可用性并记录实际历史处理与响应事件
- 多维报告:答案质量、时效性、响应选择行为、工作负载、完成率与可靠性
实验:基于 517 条视频共 1240 条记录,评测 8 个公开模型/系统的 8 种配置。发现 QA 准确率几乎相同的模型,在完成率、答案有效性和生成开销上差异巨大;主动响应性能还分化出响应质量、延迟、误报和漏报等维度。结论:流式视频性能应视为受执行条件影响的系统行为,而非单一分数。代码与基准已开源。
「多模态」频道最新
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- Zyphra开源文本归一化工具:TTS结构化数据正确率最高提升22个百分点 — kastnerkyle · 2026-11-16
- Qwen 图像 2.1 与 Minimax H3 实测:老照片修复与写实化转换 — Ant_6431 · 2026-11-16
- Minimax H3 视频生成演示:Cubee 店面镜头第二版 — JahJedi · 2026-11-16
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Minimax H3 Image 训练人物 LoRA 相似度差,同数据集在 Qwen 2.1 上表现优异 — Ad_Organic · 2026-11-16