DeepMind 新论文 SkillSmith:用自然语言组合模型新技能
rohanpaul_ai · x · 2026-08-03
Google DeepMind 近期发表了一项新研究 SkillSmith,探索了一种无需重新训练或盲目合并即可为模型赋予新能力的方法。
- 核心机制:将模型已掌握的能力与描述这些能力关联的自然语言相结合,在单次前向传播(forward pass)中生成针对特定任务的全新技能。
- 前缀缓存即模态:SkillSmith 将前缀键值缓存(prefix key-value cache)视为一种额外的输入模态。对于新任务,它能将现有的前缀权重与任务描述交织在一起。
- 优势:模型权重不再局限于微调或平均等静态处理方式,而是可以通过语言引导,将旧技能组合成适用于冻结大语言模型(frozen LLM)的新前缀缓存。
这种机制大幅降低了模型适应新任务的算力成本与时间开销。
所属事件:DeepMind 提出 SkillSmith:将模型权重视为可组合模态(4 条相关)→
「研究」频道最新
- 伯克利团队用扩散模型直接采样机器人策略权重,Unitree G1 真机走跑起舞 — berkeley_ai · 2026-10-16
- HKU 等提出 OneWM:统一因果训练让世界模型与动作学习互相增益 — IAAI233 · 2026-10-16
- 百度提出 Virtual Head Attention:同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- 5.8M 参数语音事件检测器:为 Whisper 转录补上笑声呼吸与背景音 — Ayush Kumar Bar · 2026-10-16
- 华为等提出 SUPRA-Tex:单图生成可重打光 3D 材质,所见即所得 — Chen Yang · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16