微软 Mage-VL-Cowork 4B 端侧模型登顶 OSWorld 66%,Niels Rogge 搭建可运行 Demo
NielsRogge · x · 2026-11-04
Niels Rogge 演示了微软新发布的 4B 模型 Mage-VL-Cowork:在 OSWorld-Verified 上取得 66% 的新 SOTA(排除 Google Drive 任务),端侧计算机使用能力超越大得多的模型。
技术亮点:
- 混合智能体:每一步自主决定用 GUI(点击、按键)还是 Bash shell;结构化编辑时常直接写 Python 而非点菜单
- Demo 架构:模型跑在 HF Space,桌面环境跑在 HF Sandbox(秒级启动的隔离 VM,预装 Xvfb + XFCE + Firefox + xdotool,Docker 镜像约 18 秒就绪)
- 循环机制:sandbox 文件 API 截图 → 模型输出思考+动作+工具调用 → xdotool 执行点击/输入,bash 同机运行 → 循环;Gradio UI 实时流式展示屏幕、推理过程和点击位置红点
展示了轻量模型 + 混合工具使用的端侧 agent 路线,且 HF Sandbox 提供了可复现的完整方案。
所属事件:微软发布 4B 端侧模型 Mage-VL-Cowork，登顶 OSWorld 创 SOTA(3 条相关)→
「编程与Agent」频道最新
- Together 提出按任务模糊度选模型:写测试用小模型,重构认证上大模型 — togethercompute · 2026-11-05
- TinyFish 成为 Fireworks 生态搜索伙伴,开源模型免费联网 — pstAsiatech · 2026-11-05
- Perplexity Computer 仅凭 YouTube 视频重建 SpaceX 发动机 3D 可视化 — AravSrinivas · 2026-11-05
- Parsec 创始人再创业,a16z 领投 Phaze 875 万美元种子轮 — a16z · 2026-11-05
- Gemini API 计算机使用工具正式 GA,浏览器/移动/桌面 agent 可用于生产 — patloeber · 2026-11-05
- Hybrid Reasoning Agents 论文原文:潜空间+文本混合推理,token 省 35%-55% — alex_verem · 2026-11-05