斯坦福论文提出CollabSkill：重新评估人机协同任务
paraschopra · x · 2026-07-30
斯坦福大学等机构发布了 CollabSkill 评估框架，旨在衡量人类与 AI 智能体在真实世界职业任务中的协作能力。
- 研究背景：现有的 AI 评测多关注模型的完全自主表现，忽略了人机协作这一能更好保留人类主导权并创造经济价值的模式。
- 评估机制：框架将真实人类工作者与 AI 智能体配对，并采用贝叶斯技能评级系统，以剥离并量化人类和 AI 各自的技能贡献。
- 核心发现：基于 93 名工人、386 次工作会话的数据，研究发现当前的协作排名与纯自主基准测试大相径庭（例如 Claude Code 在协作中排名第一，而 Codex 在自主基准中领先）。此外，实践操作经验是提升人机协作技能的主要驱动力。
所属事件:前沿AI评测缺失人类基准，人机协同评估成新焦点(4 条相关)→
「编程与Agent」频道最新
- 相连的步骤≠工作流：Agent 跨应用交接无人把关 — usehive · 2026-10-16
- 用 Opus/Astra/Argon 生成 Blender 动画：怎么描述依然决定成败 — chongdashu · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 让 Claude 读完书和高手代码再写 claude.md,「已比我写得好」 — blaizedsouza · 2026-10-16
- Claude Code 插件 /label：一步自动命名并着色会话 — hermanschutte · 2026-10-16