微软研究院 HCU：程序化+语义+视觉三通道统一通用 Agent 界面
MicrosoftResearch · hf · 2026-11-05
微软研究院联合复旦、清华发布论文 Hybrid Computer Use (HCU)（2026 年 10 月），重新思考通用计算机操作 Agent 的交互界面。
- 问题：以截图 + 鼠标键盘为中心的界面把人类交互习惯强加给模型，导致反复解读屏幕，而计算机本身的语义与程序化能力被浪费
- 方案：HCU 统一三条互补通道——
- 程序化交互：代码与命令行工具
- 语义交互：基于无障碍（accessibility）接口
- 视觉交互：屏幕截图理解
- 效果：模型可自主选择并组合三种通道，在复杂桌面任务上提升效率与成功率
「编程与Agent」频道最新
- Rentcast MCP Server 发布:一键接入美国房产数据与估值 API — modelcontextprotocol · 2026-11-05
- 美国能源部 EIA 数据库推出 MCP 连接器,agent 可直接查能源数据 — modelcontextprotocol · 2026-11-05
- 腾讯混元 Hy4 上线 Vercel AI Gateway,2026 年底前五折 — TencentHunyuan · 2026-11-05
- 开源 Openbar 把 Claude Code 塞进 Mac 刘海区:看 diff 按 ⌘Y 即批 — Significant-Sea-7238 · 2026-11-05
- 「电脑上的终端我全都可以卸载了」：开发者感叹 AI 编程代理已接管命令行 — ethanniser · 2026-11-05
- 开发者做 agent 审计工具:记录+签名+时间戳,2秒出证据 — Suicidal_Squirell166 · 2026-11-05