Turing 发布 CEO Bench:500+ 任务模拟公司里考核前沿 Agent
ecekamar · x · 2026-09-10
Turing 推出 CEO Bench,一个基于完整虚构公司评估前沿 Agent 长周期财务与运营工作的基准。
- 首个虚拟公司 Cirrus Sleep, Inc. 是模拟 DTC 睡眠品牌,含 1100+ 文件:会计、财务、合同、HR 薪酬、董事会材料、运营、营销、客服及一整年内部 Slack 记录
- 共 500+ 人类专家撰写的任务,本次发布 40 个已评分任务,均为部门级与高管级,由财务与运营从业者撰写
- 评分方式从"金标准答案"转向对判断力的分级评分,专家在环 + 每个任务上的 Agent 质量控制
- 动机:现有长周期评测存在数据污染、只测孤立数字处理等问题,公开基准易泄漏进训练数据
该基准基于其 SVC(Simulated Virtual Company)平台构建,现已可用。
所属事件:Turing 推出 CEO Bench 企业级 Agent 基准(2 条相关)→
「编程与Agent」频道最新
- GitHub 让 Copilot 代码审查可直接批准 PR，默认关闭可配置 — mariorod1 · 2026-09-10
- AI 智能体有了自己的手机号,Vocaleo 让 agent 能接电话了 — Scobleizer · 2026-09-10
- 作者公开 Agent 编曲的完整 prompt 与可演奏乐谱 PDF — doodlestein · 2026-09-10
- AI 写码不算安全：把 SonarQube 扫描做成 Agent 工作流里绕不过的关卡 — Cole Medin · 2026-09-10
- ChatGPT Sites 新玩法：员工用它搭表单取代 Google Forms — sherwinwu · 2026-09-10
- Seroter 每日阅读:五种不该 vibe coding 的东西、给 Agent 配生产密钥的安全姿势 — rseroter · 2026-09-10