OSWorld-Science 基准发布：146 个任务考问 VLM 科学软件操作
SciAILab · hf · 2026-10-01
- OSWorld-Science 是一个面向计算机使用智能体（基于 VLM）的科学软件基准与评测环境，覆盖分子绘制与逆合成、病理图像分析、统计计算、物理仿真等工作流。
- 包含 146 个高质量任务，由专家提案 + 人机协同迭代设计，并配有任务级执行式评估器，可检查分子结构、分割掩码、图表、数值结果等产物并给部分得分。
- 团队评测了 12 个 VLM，并提供集成模型适配器、交互循环控制与轨迹记录的专用 harness。
- 结论：即便配合强 harness，当前最先进的 VLM 在科学领域关键任务上仍表现不佳；论文还分析了多语言、推理力度、上下文长度等因素的影响，并给出改进方向。
「研究」频道最新
- 泛化最大均值差异：核化函数 Bregman 散度论文入选 NeurIPS 2026 workshop — FrnkNlsn · 2026-10-01
- 神经科学家解释为何视觉听觉主导意识：皮层面积即体验占比 — Sauers_ · 2026-10-01
- 系统提示词里藏了日期：9 个 LLM 评测成绩随日期波动最高 14% — Mario Sanz-Guerrero · 2026-10-01
- CheatBench 基准发布：量化 AI 智能体何时选择作弊 — cais · 2026-10-01
- Attention 机制演化综述：59 个模型记录揭示「上下文记忆」成设计核心 — Zhentao Tan · 2026-10-01
- KLS 猜想部分攻克:arXiv 论文核心思路由 AI 生成 — burny_tech · 2026-10-01