Omni-IO Skills:不改模型内核让 GPT-5.6 全模态支持率冲到 100%

NationalUniversityofSingapore · hf · 2026-09-30

新加坡国立大学团队发布 Omni-IO Skills,一个即插即用的 Agent Harness,通过分层 Skills、标准化多模态执行接口、依赖感知编排和持久化 Asset Registry,让现有通用 agent 变成「全模态原生」。

核心问题:通用 agent 的生产能力分散在文本、图像、音频、视频、文档、3D 资产和代码之间——给基础模型加模态要付出昂贵的模型更新成本,拼装专家模型又无法协调流程、依赖、中间资产与跨轮修订。

方法:多资产工作流被表示为 Declare Execution Graphs,可并发调度无依赖操作,成功输出注册到 Asset Registry 供下游与跨轮复用,执行后端可替换。共包含 27 个 Skills,覆盖 7 种产物模态、4 类能力(理解、生成、推理、检索)的 38 个代表任务。

结果:在 UniM-90 上,将 GPT-5.6 Sol 和 Claude Sonnet 5 的输入支持率从 40.00% 和 38.89% 提升到 100%;相对 Semantic-Quality Coupled Score 从 26.99 和 27.82 提升到 74.94 和 77.78;Strict Structure Score 达到 100.00 和 99.78。

论文结论:harness 层的能力组合是不改变宿主 agent 推理内核、构建宽覆盖可演进 Omni 系统的实用路径。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →