Omni-IO Skills 开源框架让通用 Agent 掌握 27 项多模态技能
_akhaliq · x · 2026-10-01
一篇开源论文提出 Omni-IO Skills:一个即插即用的多模态 harness,包裹 Claude、Codex 等通用 Agent,让其在音频/视频/3D/多模态工作流上无需重训基座模型即可扩展能力。要点:
- 分层技能:27 个 Skills 覆盖 38 个任务、7 种模态与 4 类能力(理解、生成、推理、检索)
- 声明式执行图:多步工作流按依赖图规划,独立任务并行执行
- 资产注册表:中间产物跨轮次持久化复用
- 可插拔后端:换供应商只需改配置
在 UniM 基准上,搭配 GPT-5.6 Sol 和 Claude Sonnet 5 两个宿主 Agent,任务支持率从不足 40% 升至 100%,SQCS 从约 27% 升至 75–78%。代码与 20 个示例工作流已开源。
所属事件:Omni-IO Skills 开源框架让通用 Agent 掌握多模态技能(2 条相关)→
「编程与Agent」频道最新
- 发推一句“我想要个 App”,30 分钟内就有人回帖交付 MVP — thejasminejade · 2026-10-01
- 7人机器人团队用Grok+Cursor干活:7人顶50人 — Baconbrix · 2026-10-01
- 开发者用 OpenAI Dot 无缝监控本机 Claude Code 基准测试 — dkundel · 2026-10-01
- ChatGPT Sites 可托管 MCP 服务器，一句话生成并部署插件 — OpenAIDevs · 2026-10-01
- 智能体工具 Omnigent 0.16 发布:全新文件浏览器与管理员控制 — matei_zaharia · 2026-10-01
- Rox 实测：Jev 重排检索比 GPT-5 Mini 快 20 倍、便宜 10 倍 — hardimanjames · 2026-10-01