RESOURCE2SKILL把多模态资源变成技能
microsoft · hf · 2026-07-20
微软等团队提出 RESOURCE2SKILL，把教程视频、代码仓库、文章和参考材料等人类多模态资源蒸馏成软件 Agent 可执行的技能。
- 他们把技能组织成一个分层的 多模态 Skill Wiki，每条技能同时包含结构化文本、代码、视觉示例、元数据和来源信息。
- 这样做的目的是保留不同资源的互补信号：视频更擅长展示操作过程和视觉效果，代码提供可执行的工具模式，文章和素材则补充概念与风格背景。
- 推理时，agent 会从 wiki 中检索并组合相关技能；如果覆盖不够，还可以用同样的构建算子在线获取新技能。
- 在 7 个实际创作领域里，该方法相对无技能 agent 的平均总分提升 11.9 个百分点，并在 28 个主要模型-领域单元中的 26 个上优于强基线。消融实验也验证了多模态格式、层级结构、来源多样性、选择策略和在线获取的价值。
所属事件:微软开源Resource2Skill将多模态资源转为技能(4 条相关)→
「编程与Agent」频道最新
- TRL 上线 Score Centering：直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- 预计算标准答案：团队重复问答的缓存式解法 — colinmcnamara · 2026-10-27
- 开发者观点：与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27
- Gradio 推 ML Intern 人工介入：训练前可暂停审核数据 — Gradio · 2026-10-27
- 玩家用本地 LLM + Blender MCP 自动搭建 Halo 无限 Forge 地图 — swagonflyyyy · 2026-10-27