RESOURCE2SKILL把多模态资源变成技能

microsoft · hf · 2026-07-20

微软等团队提出 **RESOURCE2SKILL**，把教程视频、代码仓库、文章和参考材料等人类多模态资源蒸馏成软件 Agent 可执行的技能。 - 他们把技能组织成一个分层的 **多模态 Skill Wiki**，每条技能同时包含结构化文本、代码、视觉示例、元数据和来源信息。 - 这样做的目的是保留不同资源的互补信号：视频更擅长展示操作过程和视觉效果，代码提供可执行的工具模式，文章和素材则补充概念与风格背景。 - 推理时，agent 会从 wiki 中检索并组合相关技能；如果覆盖不够，还可以用同样的构建算子在线获取新技能。 - 在 7 个实际创作领域里，该方法相对无技能 agent 的平均总分提升 **11.9 个百分点**，并在 **28 个**主要模型-领域单元中的 **26 个**上优于强基线。消融实验也验证了多模态格式、层级结构、来源多样性、选择策略和在线获取的价值。