Turing 发布 CEO Bench:500+ 任务模拟公司里考核前沿 Agent
ecekamar · x · 2026-09-10
Turing 推出 CEO Bench,一个基于完整虚构公司评估前沿 Agent 长周期财务与运营工作的基准。
- 首个虚拟公司 Cirrus Sleep, Inc. 是模拟 DTC 睡眠品牌,含 1100+ 文件:会计、财务、合同、HR 薪酬、董事会材料、运营、营销、客服及一整年内部 Slack 记录
- 共 500+ 人类专家撰写的任务,本次发布 40 个已评分任务,均为部门级与高管级,由财务与运营从业者撰写
- 评分方式从"金标准答案"转向对判断力的分级评分,专家在环 + 每个任务上的 Agent 质量控制
- 动机:现有长周期评测存在数据污染、只测孤立数字处理等问题,公开基准易泄漏进训练数据
该基准基于其 SVC(Simulated Virtual Company)平台构建,现已可用。
所属事件:Turing 推出 CEO Bench 企业级 Agent 基准(2 条相关)→
「编程与Agent」频道最新
- 微软展示用 Copilot App 与 Foundry 搭建跨 Teams/Outlook 的意图识别 Agent — marlene_zw · 2026-10-26
- 求推荐可穿戴录音麦克风：要长续航，接自己转写和 MCP — altryne · 2026-10-26
- 工程师身份危机蔓延:多智能体系统正在重定义软件工程问题 — rakyll · 2026-10-26
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26