Meta 发布 WildArtifactBench 评估多模态 Agent
AIatMeta · x · 2026-08-21
Meta 预览了内部评估框架 WildArtifactBench，旨在评估 Agent 在跨多种交付格式的复杂现实世界任务中的表现。该框架使用人类和 Agent 偏好判断的胜率和 Elo 分数，而非严格的真值标准，从而扩展了实用多模态工作流的任务覆盖范围。Meta 正在发布 WildArtifactBench 中的 10 个任务，以衡量多模态 Agent 交付的实际实用价值。
所属事件:Meta 推出 WildArtifactBench 评估多模态 Agent(2 条相关)→
「研究」频道最新
- Devin Oncall 登顶 SREGym：自动值守排障达 100% 端到端成功率 — tianyin_xu · 2026-10-16
- 上交大 AutoLab 发布 Drive3R:流式 3D 重建基础模型瞄准自动驾驶 — AutoLab-SJTU · 2026-10-16
- 独立研究者发布 Cortex:用重放实测自动进化与修剪编码 Agent 的 skills 和 rules — Samuele Giampieri · 2026-10-16
- 团队用「零延迟实验室」测出 agent 药物发现是否靠预训练记忆作弊 — niloofar_mire · 2026-10-16
- 2.6 亿参数循环扩散模型反超 6 倍大小基线，推理算力省近 5 倍 — burkov · 2026-10-16
- 斯坦福 NCM 先画草稿再并行补细节，单 H100 生成提速 21 倍 — lmoroney · 2026-10-16