CoworkEnv: Synthesizing Training Environments for Long-Horizon Cowork Agents
Zhongwei Xie, Yiming Du, Jiaxin Bai, Baixuan Xu, Chunyang Li, Xiyu Ren, Wei Fan, Tianshi Zheng, Weizhi Du, Jingqiao Yu, Xingsu Li, Zhaowei Wang, Yangqiu Song
cs.AI, cs.CL
2026-10-18
CoworkEnv 把用户请求、服务记录、工具接口和自动评分绑成可执行训练环境。Qwen3-VL-8B 做监督微调后，Claw-Eval 均分从 46.6 升到 64.1，多轮任务提高 31.9 分。
同事智能体要跨多轮查记录、调用工具，并在状态变化时守住流程约束。客服升级得同时看客户等级和工单时长，改对那一张单，还要避开禁止动作。最终回复写得像，证明不了状态已改、禁令已守。
信息散在多套服务里。同一客户的字段必须一致，工具得真能改状态，评分得看动作和审计。对不齐，样本就跑不起来。CoworkEnv 把点名的能力收成可执行任务，供模仿，也供交互学习。
一条任务是四元组：用户请求、初始状态、工具接口、评分检查。能力清单规定服务组合、难度、干扰记录、允许动作和参考日期。模型按目录生成，程序填进已注册服务和固定评分模板。换场景只换记录和检查，运行时复用。
跨服务任务把证据拆开。升级单结合工单年龄和客户等级，挑选企业账户中开着超过 48 小时的单，再取客户经理地址发邮件。新开的高优先级单是干扰项，看着急，年龄却不够。安全任务把「查到」和「可以做」拆开。付款变更调查并列可疑邮件、正当往来和交易记录，查证给分，发送或提交报告触发安全闸。生成侧写请求和记录。判定侧（Discriminator）换一个上下文，只凭记录和场景说明写完成条件与禁做动作，避免答案标识进题面。
不过检就整份重写。规格要能解析，服务已注册，有初始记录，完成分权重之和为 1，必做与禁做工具不冲突，题面不泄漏答案标识。评分行为另测三条：达标则完成分和安全分都满分，空记录完成分为 0，多一次禁做调用则安全分为 0。
教师经 Claude Code 适配器在 Harbor 中作答，分数来自工具参数和审计。稳过的任务每个归一化前缀只留一条演示，免得简单题反复出现。中间难度留多次，极低完成度丢掉，再去掉过短、调用过多和超长样本，过长观测截成前缀。监督微调只拟合助手回复和工具调用，token 等权，奖励只用于筛选。学生在同一环境里自己交互取奖励。缺奖励的样本作废，失败的 rollout 会重试后再估计优势。两套训练共用任务、服务和评分器。PocketWorker 用 LoRA 微调 Qwen3-VL-8B-Instruct，开发时用过 slime 和 Polar。强化学习比较 GRPO、Dr.GRPO、GDPO 和 GiGPO，差别在奖励处理和信用分配。训练任务独立于测试集。构造库快照含 Claw-Eval 标识 602 个、ClawMark 263 个，重合 236 个。论文写明，勿把这些计数当成测试集或训练集规模。
Claw-Eval 主结果取 161 道 General 与 38 道 Multi-turn，共 199 题，每题 3 次，均分记 0-100。Pass@3 是至少一次达到 0.75 的题目比例，Pass3 要求三次全部达到。
| 模型 | Overall | Multi-turn | General | Overall Pass@3 / Pass3 |
| Qwen3-VL-8B-Instruct | 46.6 | 45.9 | 46.7 | 28.6 / 21.6 |
| PocketWorker-8B（SFT） | 64.1（+17.5） | 77.8（+31.9） | 60.9（+14.2） | 50.8 / 37.2 |
| Qwen3-VL-4B-Instruct | 33.9 | 56.1 | 28.7 | 19.6 / 11.1 |
| PocketWorker-4B（对话 SFT） | 42.2（+8.3） | 66.0（+9.9） | 36.6（+7.9） | 22.6 / 15.6 |
8B 多轮的 Pass@3 从 34.2 到 78.9，Pass3 从 13.2 到 50.0。三次都过线的仍只有一半。General 只涨 14.2。
公开参考来自 Claw-Eval v3 的 Overall：Claude Sonnet 4.6 为 81.4，Opus 4.6 为 80.4，GPT-5.4 为 78.4，Qwen3.5-397B-A17B 为 74.2，Kimi K2.5 为 68.3，DeepSeek V3.2 为 67.5，Nemotron 3 Super 为 44.4。64.1 高于 8B 基座和 Nemotron 3 Super，低于多数更大的模型。多轮 77.8 贴近 Kimi K2.5 的 75.4，低于 Sonnet 4.6 的 81.9，高于 DeepSeek V3.2 的 64.0。论文写明，设置不对齐就不能声称超过某个参考模型。总参/激活参数里，Nemotron 3 Super 为 120B/12B，Kimi K2.5 为 1T/32B，Qwen3.5-397B-A17B 为 397B/17B。
4B 基座多轮 56.1，高于 8B 基座的 45.9。它的微调只在对话数据上做了两个 epoch，General 的 Pass@3 和 Pass3 各降 0.6。数据和 8B 的工具轨迹不是同一套，不能据此说小模型更擅长多轮。
ClawMark 为 100 题、13 个职业领域。只做 SFT，8B 从 11.8 到 19.4（+7.6）。网站 Run 1 上 GPT-5.4 为 56.7，Sonnet 4.6 为 53.1，Kimi K2.5 为 56.0。配方能迁过去，绝对分仍低。
数据在每个 SFT 阶段内随机抽。Overall 为 46.6、50.8、55.6、64.1，对应基座、20%、50% 和全量。多轮为 45.9、53.6、64.9、77.8。半量到全量，多轮再涨 12.9。
强化学习从共享热身出发，大约三个 epoch。下表对照基座，全量 SFT 的 64.1 不在这条起跑线上。
| 配置 | General | Multi-turn | Overall |
| Qwen3-VL-8B 基座 | 46.7 | 45.9 | 46.6 |
| 热身 + GRPO | 52.8（+6.1） | 72.5（+26.7） | 56.6（+10.0） |
| 热身 + GDPO | 53.0（+6.3） | 74.9（+29.0） | 57.2（+10.6） |
多轮涨得最多，GDPO 高于 GRPO。101 道多模态从基座 20.7 到 GRPO 的 22.1，几乎没动。Dr.GRPO 与 GiGPO 同表，收益随任务类型变化，正文没有逐格写明。全量 SFT 的 64.1 和多轮 77.8 仍然更高。训练奖励上升，论文把这当作环境支持策略优化的初步证据。
能留下来用的是那份可执行包。请求、记录、工具和评分代码在一起，模仿和在线奖励不用各做一套环境。显存紧的时候，这比再换一种优势估计更有用。
大的涨分来自 Claude 教师的成功轨迹被蒸进 8B。多轮加 31.9，General 加 14.2，ClawMark 加 7.6，后两档小得多，Claw-Eval 的多轮代表不了同事能力整体。数据还未饱和，全量高于半量。热身后再跑大约三个 epoch 的强化学习，没有超过全量 SFT。要更强的 8B 检查点，先看 SFT。
分数只覆盖评分器编码的性质，检查外的错误会漏。按教师成功率留样本，容易堆重复的成功，丢掉有用的挽回。论文写到，失败轨迹值得研究，含失败的反馈在别的技能迭代里也能更新行为。重跑原始教师轨迹，往往要专有模型服务。
602 和 263 是构造库标识数，主文没有给出训练轨迹条数。强化学习从热身起步，起点弱于全量 SFT，涨过基座说明不了交互优于模仿。SFT 主表没有多模态，强化学习里这一档几乎不动。4B 的 General 过线率还降了。参考分是转引。Lessons 里还记下，换 harness 会改变训练结果，训练壳和推理壳可能对不上。环境是模拟办公，直接部署仍可能出错或越权。