腾讯开源 UI-Mate-27B：截图驱动的长程桌面 GUI 智能体
pmttyji · reddit · 2026-08-18
腾讯在 Hugging Face 开源 UI-Mate-27B，一个开放权重的 GUI 智能体基础模型（基于 Qwen3.6-27B，Apache-2.0 许可），能观察实时截图并对可见状态推理，输出结构化键鼠操作来控制原生桌面环境。
支持两种模式：通用计算机使用（自然语言指令+实时截图执行任务）和示范引导式使用——把一次成功演示提取为可复用工作流，但示范只作参考，界面内容、布局或应用状态变化时模型会基于实时界面重新规划，而非机械回放坐标。
技术要点：
- 输入为任务指令、截图、交互历史与可选示范上下文，输出推理过程+动作描述+结构化 computer-use 工具调用（兼容 pyautogui）
- 训练采用 SFT + 可执行 GUI 环境中的在线强化学习
- 在 Ubuntu 和 Windows 基准上表现强劲，支持跨多应用长程任务与一次示范的程序性学习
- 提供 OpenAI 兼容的推理与客户端接口
论文、GitHub 代码与项目主页均已放出。
所属事件:腾讯开源 UI-Mate-27B 桌面 GUI 智能体登顶基准(2 条相关)→
「编程与Agent」频道最新
- Anthropic 被曝开发 Hub 多智能体模式 — testingcatalog · 2026-08-18
- Agent 单文件内存溢出？生产级多步存储方案探讨 — Interesting-Year-418 · 2026-08-18
- KAISEN AI：利用遗传算法与本地 LLM 优化代码性能 — andreabarbato · 2026-08-18
- Compound Engineering 更新：新增技能与 Windows 支持 — every · 2026-08-18
- 编码 Agent 实用招：实现完跑 /simplify，再用新上下文复审 diff — lucasmeijer · 2026-08-18
- 开发者称 Go 语言适配 AI 编程 Agent 效果远超 Rust — dosco · 2026-08-18