Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量
minnesotanlp · hf · 2026-10-27
明尼苏达大学团队在 Hugging Face 发布 Kolab，一个基于职业人士真实屏幕录像的数据集，用于基准测试人机 Agent 在长时程工作流中的协作。
核心发现：前沿多模态 LLM Agent 系统性地高估协作质量，无法准确预测专家是否会采纳其贡献。配套提供 Agent Contribution、Collaboration Satisfaction、Workflow Outcome 三类指标，以及协作突发度（burstiness）等刻画协作动态的度量。
「编程与Agent」频道最新
- 老工程师回望手写代码时代:AI 接管后,新生代再也体会不到这些时刻 — bendee983 · 2026-10-27
- 用 Claude Opus 5.5 在浏览器里自比对 341 张真实照片造海岛 — prasenx · 2026-10-27
- NeurIPS 论文 BreakingWeb：强浏览器 Agent 在受控变体上近半数失败 — shuyanzh36 · 2026-10-27
- 多家公司联手为 Agent 铺路：身份、支付、浏览器基础设施集合 — jeff_weinstein · 2026-10-27
- OpenAI 发布 GPT-6.1 Terra：主打低价格高效率的电脑操作能力 — sama · 2026-10-27
- 开源 OntoGr Agent Memory:每条事实带引文、来源与双时间轴 — vm324234 · 2026-10-27