Meta 预览 WildArtifactBench:用 Elo 胜率评测开放式多模态 Agent
qinzytech · x · 2026-10-16
Meta 发布 WildArtifactBench 预览,针对「任务开放式、产出是网页/游戏/文件等产物、没有唯一标准答案」场景下的 Agent 评测难题。
- 评测方法:不用严格的标准答案 rubric,而是采用人类与 Agent 偏好评委给出的胜率和 Elo 分数,扩展对实际多模态工作流任务的覆盖。
- 任务形态:官方放出 10 个任务,示例包括「鸟鸣识别」——需从 46 个音频文件中对照 birdspecies.yaml 的文字描述识别鸟种并输出 csv,且禁止使用 birdnetlib 等现成库。
- 横评图:成本-得分曲线显示 Claude Opus 5 在自动与人类评测中均居首(平均每任务约 40 美元),Muse Spark 1.2 与 GPT-5.5 在低成本区间(约 2 美元/任务)与 GPT-5.6 Sol 接近,明显高于 Muse Spark 1.0、GPT-5.4、Opus 4.6 和 Gemini 3.1 Pro。
所属事件:Meta 开源 Muse Spark 1.2 并预览 WildArtifactBench 评测基准(2 条相关)→
「模型」频道最新
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23
- GPT-6 网页版能真「听」音频，API 和 Codex 却不支持，用户实测揭秘 — Possible_Statement84 · 2026-10-23
- MiniMax M3.1 Flash 在 0G 平台限时免费 3 天,1M 上下文随便跑 — MiniMax_AI · 2026-10-23