VisualArtifactSpec 1.0 发布:211 项任务评测 Agent 视觉产出能力
Accio-Lab · hf · 2026-11-18
Accio-Lab 在 Hugging Face 发布 VisualArtifactSpec 1.0(VAS)基准,用于评测 Agent 依据任务规格和源材料产出实用视觉成品的能力。
基准构成
- 211 个创作与修改任务,覆盖四大类:演示文稿、静态图形、动画与视频、网页界面
- 每个任务明确创作目标、源材料、约束条件与交付物
评测维度
- Task Fulfillment:验证显式要求与功能是否达成
- Artifact Performance:从内容、组织、视觉、表达四方面评估成品质量
- 为不同受众、用途和媒介设置任务级评分锚点
结果:9 个 model-harness 配置全部跑完 211 项任务,总分区间 42.12–70.52,Artifact Performance 贡献了最高与最低配置之间 73.4% 的差距。
「研究」频道最新
- CADMAGEDDON:单卡本地方言重建可编辑 CAD,超前沿模型 — Oleg Pavlov · 2026-11-18
- MillBill:本地中型模型生成数控加工程序,超越前沿模型 — Gennadii Savrasov · 2026-11-18
- DeepMind 老将 Ryutaro Tanno 转任 Pathos 首席 AI 官 — davidstutz92 · 2026-11-18
- VRST 2027 将采用三地分布式会议:美欧亚各设一个会场 — plopesresearch · 2026-11-18
- 合成生物单次连续生命实验:学会食物在哪而非食物是什么 — DesignEddi · 2026-11-18
- 决策模型跑分:比 LLM 生成 JSON 快 2.7-3.6 倍 — mervenoyann · 2026-11-18