推翻先前结论：调对学习率后全微调也会发生「潜意识学习」
thebasepoint · x · 2026-11-07
Lawrence Feng 在 LessWrong 发文修正关于 subliminal learning 的已有结论——模型通过训练在看似无关的数据（如纯数字序列）上习得教师模型行为特质的现象。
- 此前 Nief et al. 与 Blank et al. 报告特质转移随 LoRA rank 呈倒 U 形，且全参微调（FFT）不发生转移。
- 作者在同样的数字序列设定下系统性变换 LoRA rank、学习率与数据量，并控制模型连贯性后发现：只要学习率与数据量合适，每个 LoRA rank 下都会发生 subliminal learning，FFT 也会。倒 U 形其实是共享学习率（2e-4）与数据规模选择造成的假象。
- 作者表示尚无法解释部分发现，希望社区讨论；研究训练动态有助于判断现实场景中是否需要警惕类似现象。
scottleibrand 转发并以此为「近期研究纠偏」的例子。
「安全」频道最新
- AI 安全研究者:Anthropic 等失控警告若属实,2027 前须备好 kill switch — S_OhEigeartaigh · 2026-11-07
- Bittensor 推出抗量子钱包：后量子签名+密钥自动轮换 — bittingthembits · 2026-11-07
- Yudkowsky 转引 Ellsberg 名言：密级如何腐蚀前沿 AI 公司内部人 — ESYudkowsky · 2026-11-07
- 安全提醒：快给 OpenReview 账号开启两步验证 — CSProfKGD · 2026-11-07
- AI 数小时内即可把补丁变成漏洞，a16z 列六大网络安全创业机会 — a16z · 2026-11-07
- 编码 Agent 会凭记忆装上已归档 MCP 服务器，5 条命令自查 — MrDogeAlright · 2026-11-07