新研究:Subliminal Learning 无需共享基座模型也能跨架构传递
niloofar_mire · x · 2026-10-27
Anthropic 研究员 BlancheMinerva 转发其暑期实习项目新论文:Vishesh 等人证明「隐性学习」(Subliminal Learning)不需要师生共享基座模型——教师模型的隐藏偏好(如动物偏好)即使在与学生模型权重初始化、数据顺序、预训练语料甚至架构都不同的情况下,仍能通过生成的数据传给学生模型。
这扩展了此前「仅共享基座才出现」的结论,提示模型间通过数据传播隐含特质可能比想象中更普遍,对模型蒸馏与安全都有意义。
所属事件:新研究：潜学习可跨模型架构隐秘传递偏好(2 条相关)→
「研究」频道最新
- 细胞生物学最神秘结构 Vault：发现 40 年仍缺席教科书 — JosephJacks_ · 2026-10-27
- 研究提出「记忆税」：多数 Agent 记忆系统跑不赢朴素 RAG — omarsar0 · 2026-10-27
- 异步 RL 训练配方趋同：score centering 加掩码重要性采样成默认 — _lewtun · 2026-10-27
- 用 Haiku 给模型每个神经元起名评级：电锯刺穿的杂技演员怪异度 8 分 — Sauers_ · 2026-10-27
- InteractiveWorld:首个模拟可穿戴 AI 助手与人类交互的可验证环境 — _akhaliq · 2026-10-27
- 小白级指南：模型训练、微调与 RAG 到底怎么选 — galratner · 2026-10-27