Vibrant Labs 发布 EnterpriseShift:13 个岗位与运行时权限的企业 agent 基准
Shahules786 · x · 2026-11-04
Vibrant Labs 推出 EnterpriseShift，一个面向「角色制企业工作」的 agent 基准，并附完整设计博客。
对现有基准的两个批评
- 任务中心的环境会预选相关上下文、收窄依赖，等于替 agent 做了一部分推理；真实企业工作要求在无关活动中自己发现重要事项。
- 现有基准缺乏明确的岗位职责定义和运行时基于角色的访问控制（RBAC）：agent 拥有什么、能做什么决策、何时必须上报他人。
环境构建
- 13 个定义好的岗位、300 份政策文档（约 150 万 token）
- 6 个模拟系统：ServiceNow、Entra ID、Entra ID Governance、Teams、SharePoint、StatusGator
- 记录基于真实 ITSM 活动日志，含未完成工作和历史异常
- 岗位定义职责，政策指导决策，运行时权限约束权力：如变更经理可批准变更但不能亲手实施，必须与同事协调
任务与评估
- agent 需端到端负责一个「班次」：在混合队列中自行发现待办、应用政策、协调同事
- 政策锚定的工作动作（Policy-grounded Work Actions）定义每项动作的归属、适用条件、可变更与不可变更范围
- 完成的定义可以是解决、升级、或等待同事后继续；验证覆盖结果、动作顺序、作者归属与交接
对比表显示 Corecraft、HANDBOOK.md、EnterpriseOps-Gym、τ-Banking、AutomationBench 等现有基准均无岗位定义、运行时 RBAC 和异步协调。
所属事件:Vibrant Labs 发布企业 Agent 基准 EnterpriseShift(4 条相关)→
「编程与Agent」频道最新
- 用 tldraw 搞了个 GhostDraw：手绘草图直接变成应用流程图 — Dhananjay_Tech · 2026-11-04
- CoworkOS 开源：三层协作 Agent 框架，Qwen3.6 自训练提升 9.76 分 — KyeGomezB · 2026-11-04
- NeurIPS 论文 DOLORES:免训练让 8B 模型击败同家族 32B — StellaLisy · 2026-11-04
- Berkeley 团队开源 StarTrail:深研检索基础设施与论文搜索工具包 — CShorten30 · 2026-11-04
- 基于 Claude Code 的 AI 求职框架爆火，GitHub 斩获 6.93 万星 — adnan_hashmi · 2026-11-04
- 港中深推出 DuplexAgent-RSI：语音助手可中断旧任务异步执行新指令 — jiqizhixin · 2026-11-04