Google 开源 SynthCorp:模拟企业数据演化,生成不会饱和的数据 agent 基准
dair_ai · x · 2026-11-13
Google 发布 SynthCorp 平台,解决静态数据 agent benchmark 快速饱和、无法定向测技能的问题:
- 在虚拟日历上模拟企业例行事件与突发事件,事件自动写入关系表、文档库和数据目录,三者保持一致。
- 每个操作进入模拟日志,任务的 gold answer 直接从日志推导并校验,无需人工标注。
- 首版含 7 个数据领地(最多 1,000 张表)、5 个领域 256 个任务,通过外键违规、未声明写入等确定性管道校验,错误率接近零。
- 多事件链式复合任务仍能让 SOTA agent 大面积失败,可区分数据上下文设置与模型层级。
平台可定制生成更多数据领地与基准,代码开源。
「研究」频道最新
- 团队发布迄今最大规模智能体系统评测：把 AI 当聪明的工具使用者 — animesh_garg · 2026-11-14
- RWE-Bench 工程能力榜：Fable 5.2 得 62%，超 Opus 5.5 一倍多 — Jsevillamol · 2026-11-13
- 「神经元作为可解释基底」：Already Clean 技术续篇 — TemetN · 2026-11-13
- EmbodiedSWE 获 CoRL 2026 智能体机器人研讨会最佳论文 — shahdhruv_ · 2026-11-13
- NextLat 发布终版论文：多 token belief states 助力大规模预训练 — JohnCLangford · 2026-11-13
- Genomics x AI 社区博客上线：聚焦 AlphaGenome 等实操教程 — anshulkundaje · 2026-11-13