Omni-IO Skills: Harnessing Your Agent Omni-Native
Yanlin Li, Mingyang Hao, Shengqiong Wu, Hao Fei, Mong-Li Lee, Wynne Hsu
cs.CL
2026-09-26
新加坡国立大学与牛津把27个分层Skill做成可插拔外壳，在UniM-90上把两款宿主输入覆盖从约40%拉到100%，相对语义质量分升至74.94和77.78。
做一门网课，往往要从讲座录像和参考文档开始，经过内容拆解和视觉设计，最后交出幻灯片、插图、旁白和讲解视频。这些产物共享事实、风格和时序。能用的 Omni 系统得在文本、图像、音频、视频、文档、3D 资产和代码之间交错收发，并把语义和资产在整条工作流里接住。
现有两条路都卡住。把基础模型原生扩到更多模态，能力增长绑死在昂贵的模型更新上。把专家模型和媒体引擎拼在宿主旁边，规划核其实已经够用，缺的是怎么选能力、写依赖、转中间文件、隔离局部失败、下一轮怎么改稿。通用 Agent 擅长长程规划和写代码，成套媒体包仍然要靠外部能力和手工编排。
缺一层插在推理和异构后端之间的 Agent Harness，给 Agent 用的运行时外壳，管工具、状态、调度和失败恢复。问题很具体：不改宿主的推理核，能不能靠可插拔外壳让现有 Agent 变成 omni-native。
Omni-IO Skills 来自新加坡国立大学和牛津大学，宿主保持原样。当前 19 个 Atomic、2 个 Expert、6 个 Scenario，一共 27 个 Skill，覆盖 38 类任务，横跨理解、生成、推理、检索，以及七种产物模态。
复杂请求展开成 Declare Execution Graph（DEG，声明式执行图）。节点写明类型、自包含 prompt、参数和依赖。图必须无环且依赖可解析，否则当规划错误重建。同一 Wave（一轮可并发的就绪节点）里互相独立的节点一起跑；出图和音效可以并行，图生视频要等参考图。节点失败则下游取消、旁路继续，已成功产物不回滚。跨轮修订时，历史资产变成已完成的 assetsource 节点，只重跑要改的那一步。
产品推广例子：活动物料 Scenario 展开成海报和复杂视频两条 Expert，再落到图像理解、出图、视频、音效和代码。四波分别是分析产品图、并行出视觉与音效、合成海报和宣传片、最后做落地页。之后只改落地页风格，前面的产品和物料直接复用。
评测集 UniM-90 从 UniM 固定抽出 90 条，覆盖七种模态及其交错组合，选例不看被测 Agent 的原生能力。宿主是 GPT-5.6 Sol 和 Claude Sonnet 5。对照为同一环境的 Base Agent（系统自带 Skill 和工具，无第三方扩展）对上加载 Omni-IO Skills 与 MCP 服务，prompt 和预算不变。两款宿主默认能力不同，分数差不当模型排名。
输入支持率 τ 是所有输入模态都能完整接收并处理的比例。绝对分只在支持子集上算；相对分是 τ 乘绝对分，用来看全集。SQCS 同时打语义正确和生成质量，ICS 看交错回复是否连贯，StS / LeS 分别是严格结构一致和模态级覆盖。输入能吃、输出交不出来的失败仍计入。
| 配置 | τ | 相对 SQCS | 相对 ICS | 绝对 StS |
| GPT-5.6 Sol | 40.00% | 26.99 | 34.61 | 47.84 |
| Omni-IO | 100% | 74.94 | 93.98 | 100.00 |
| Claude Sonnet 5 | 38.89% | 27.82 | 32.00 | 52.21 |
| Omni-IO | 100% | 77.78 | 83.28 | 99.78 |
相对 SQCS 分别涨 47.95 和 49.96 个点，LeS 两边都到 100.00。绝对 SQCS 在支持子集上仍从 67.49 升到 74.94、从 71.53 升到 77.78，所以不只是把不会的题变成能交卷。Claude 的绝对 ICS 只从 82.29 到 83.28，结构分接近满分，更像外壳把工具调用和输出格式管住了。
看教学视频加听讲解，S4 教育分享协调 A2 视频理解、A3 音频理解和 A6 出图，交出 11 张韩式夜市绘画教程。拿 Owala FreeSip 产品图，A1 抽属性，E1 做 4:5 海报，E2 做恰好 10 秒的 9:16 宣传片，A16 做落地页。两款宿主都能交齐，产品外形和卖点保持一致。
给已经在用 Codex、Claude Code 一类宿主的人，这是一条不换模型的路：Omni 能力放在 Skill、后端和资产登记上长，不必等下一个统一大模型。Skill 写语义能力，Provider 可替换，多轮改稿不用重做上游。多产物、有依赖、要改一版的生产活，和这套抽象对齐。
它是组合层上的工程方案，不是新的感知或生成模型。质量天花板仍在专家后端上。代码已开源。对要自建多模态生产 Agent 的团队，DEG 加资产登记比再包一层 tool call 更接近能跑通的工作流。
正文没有独立的局限节，结论几乎全是正向表述。相对分会被实验设计抬高：τ 从约 40% 到 100%，相对 SQCS 和 ICS 的大头来自以前吃不进的题现在能跑。绝对 SQCS 只涨约 6 到 7 分；Claude 绝对 ICS 几乎不动。
对照只有 Base Agent，没有和 MM-ReAct、现成 Agent Skills 或其他 Omni 协调系统同台。没有消融 DEG、Asset Registry 或 Scenario 层各自贡献多少。没有延迟、美元成本和失败率。结构分顶到 100，很像在强制输出格式，不等于内容更好。
UniM-90 只有 90 条，主文没给题型分布。案例偏生成编排。宿主推理核不动，规划错了外壳救不了；失败节点不回滚已完成产物，会留下半套物料。这里的 omni-native 是执行层拼出来的，不是模型原生统一表示。