新论文：潜学习无需共享基座，偏好也能跨模型隐秘传播
burny_tech · x · 2026-10-26
新论文扩展了「潜学习」（Subliminal Learning）现象：即使 teacher 和 student 模型的权重初始化、预训练数据顺序、预训练语料乃至架构都不同，teacher 的隐藏偏好（如偏爱猫）仍能通过 distillation 传递给 student。
- 硬标签蒸馏：student 在 teacher 生成的数字序列上微调，偏好照样转移
- 软标签蒸馏：冻结的 teacher 给 student 输出的每个 token 打分，同样传播偏好
- 意味着这种隐秘的「亚阈值」特征传播不依赖共享基座模型，对模型蒸馏安全有重要含义
「模型」频道最新
- 博主称 GPT-6 astra 已过 AGI 门槛：瓶颈只剩表达自己的需求 — brandon_galang · 2026-10-26
- Claude 账号突现 11 月 30 日到期的「免费重置」额度,用途不明 — Miyoumu · 2026-10-26
- 更好的模型省的不只是 token 钱:被低估的脚手架工程 TCO 优势 — matt_slotnick · 2026-10-26
- Logan Kilpatrick 回应延迟争议：已从超 24 小时压缩到 10 分钟 — TheMoonMidas · 2026-10-26
- Opus 5.5 发布刚满一个月，作者晒回顾链接 — sammcallister · 2026-10-26
- 网友叹息:Opus 等模型被禁在消费级硬件上做逆向工程 — nitarshan · 2026-10-26