DeepMind 新论文 SkillSmith:用自然语言组合模型新技能
rohanpaul_ai · x · 2026-08-03
Google DeepMind 近期发表了一项新研究 SkillSmith,探索了一种无需重新训练或盲目合并即可为模型赋予新能力的方法。
- 核心机制:将模型已掌握的能力与描述这些能力关联的自然语言相结合,在单次前向传播(forward pass)中生成针对特定任务的全新技能。
- 前缀缓存即模态:SkillSmith 将前缀键值缓存(prefix key-value cache)视为一种额外的输入模态。对于新任务,它能将现有的前缀权重与任务描述交织在一起。
- 优势:模型权重不再局限于微调或平均等静态处理方式,而是可以通过语言引导,将旧技能组合成适用于冻结大语言模型(frozen LLM)的新前缀缓存。
这种机制大幅降低了模型适应新任务的算力成本与时间开销。
所属事件:DeepMind 提出 SkillSmith:将模型权重视为可组合模态(4 条相关)→
「研究」频道最新
- OpenAI 招聘变革性 AI 经济学主管,MATS 奖学金开放申请 — Astral Codex Ten · 2026-08-24
- AI 科学家有了新标尺:从“考试”转向真实发现闭环 — 量子位 · 2026-08-24
- AI 协助证明埃尔德什猜想超越性 — inductionheads · 2026-08-24
- Stanford 新法:LLM 自我验证,分数暴涨 9.3% — Saboo_Shubham_ · 2026-08-24
- 异构量子架构论文:容错计算物理量子比特需求降 138 倍 — MJBiercuk · 2026-08-24
- InfinityEdit:无限视频编辑,仅靠轻量级适配器实现 — Yunze Tong · 2026-08-24