RESOURCE2SKILL把多模态资源变成技能
microsoft · hf · 2026-07-20
微软等团队提出 RESOURCE2SKILL，把教程视频、代码仓库、文章和参考材料等人类多模态资源蒸馏成软件 Agent 可执行的技能。
- 他们把技能组织成一个分层的 多模态 Skill Wiki，每条技能同时包含结构化文本、代码、视觉示例、元数据和来源信息。
- 这样做的目的是保留不同资源的互补信号：视频更擅长展示操作过程和视觉效果，代码提供可执行的工具模式，文章和素材则补充概念与风格背景。
- 推理时，agent 会从 wiki 中检索并组合相关技能；如果覆盖不够，还可以用同样的构建算子在线获取新技能。
- 在 7 个实际创作领域里，该方法相对无技能 agent 的平均总分提升 11.9 个百分点，并在 28 个主要模型-领域单元中的 26 个上优于强基线。消融实验也验证了多模态格式、层级结构、来源多样性、选择策略和在线获取的价值。
所属事件:微软开源Resource2Skill将多模态资源转为技能(4 条相关)→
「编程与Agent」频道最新
- alphaXiv 开源 OpenResearch:用任意模型并行跑研究智能体 — alphaXiv · 2026-09-11
- MathModelAgent 走红:自动完成数学建模并生成可提交论文 — jihe520 · 2026-09-11
- 开源 AI 销售 OS DeskcommCRM 爆火:自带 Agent 与 WhatsApp 集成 — melgarafael · 2026-09-11
- hyperresearch 开源:让 Agent 把网络调研沉淀为可搜索知识库 — jordan-gibbs · 2026-09-11
- Forter 两周全员 Agent 冲刺 13 条经验:跳过自建 RAG 靠企业搜索 — bibryam · 2026-09-11
- 拆解两款真实「公司大脑」：Slite 与 Gorgias 同台对比构建之道 — femke_plantinga · 2026-09-11