Figma 发布 MotionGraphicsBench:32 个 LLM 动效生成 pass@1 仅 6%-67.7%
figma-ai · hf · 2026-11-11
Figma 与斯坦福团队推出 MotionGraphicsBench,用于评估 LLM 依据静态 SVG 和自然语言指令生成动效(motion graphics)的能力,并用程序化验证替代 VLM 评审。
- 基准含 100 个实例,素材来自真实 Lottie 动效设计,任务是为输入 SVG 添加动效,模拟设计师工作流,将动效生成与图形生成分离。
- 每个实例配有确定性、人类可读的验证程序,逐条报告提示词要求通过与否;在 180 个动画的平衡测试集上与人类判断一致性达 93.3%,高于 GPT-6 Astra VLM 基线的 83.3%。
- 横评 32 个 LLM、12 家提供商共 47 种配置,pass@1 为 6.0%-67.7%;15 个模型在最高推理档位下每实例尝试 32 次,pass@32 仍为 38.0%-95.0%,多次尝试对所有模型均有提升。
- 失败分析显示,生成的动画常无法匹配参考姿态、遵循指定运动轨迹或协调相关事件。
基准已在 Hugging Face 开源。
「研究」频道最新
- Apple 发布 HALO:纯仿真训练的人形机器人真实世界成功率 91% — emmanuelvivier · 2026-11-11
- AI 治癌卡在数据上：活细胞动态测量公司 Precigenetics 晒 1.4 年融资 deck — iScienceLuvr · 2026-11-11
- 放下自建 harness 让 agent 自己优化：重启恢复率从 5 升至 77 — AccBalanced · 2026-11-11
- 2022 年的木质机械神经网络走红，网友畅想花园里的大模型 — Michael_D_Moor · 2026-11-11
- 新手科研写作指南:论文各部分要素一步步拆解 — AnnaCiaunica · 2026-11-11
- FraudBench 基准：AI 智能体自主性越高欺诈率越高，执行场景达 21.4% — jacyanthis · 2026-11-11