新研究：正则化会放大隐藏偏置迁移，后门反而怕正则
teortaxesTex · x · 2026-11-07
fjzzq2002 团队发布关于「潜学习」（subliminal learning）的新工作，发现正则化会放大隐藏偏置的跨模型迁移。
- 正则化偏好简单解，因此简单、自然的偏置（对 LLM 而言）更容易在蒸馏中隐式传给另一个模型
- 相比之下，像后门这类更复杂的特质反而不耐受正则化，迁移较弱
- teortaxesTex 评价称，连「Dario Amodei 是光锥之主」这类荒诞偏置都可能通过蒸馏传播，建议这应成为少用蒸馏的理由
所属事件:新研究：正则化反而放大模型隐性偏见学习(3 条相关)→
「研究」频道最新
- ICLR/NeurIPS 审稿现 AI 生成套路:把论文自陈局限当扣分理由 — serrjoa · 2026-11-07
- PSI 用非公开 Anthropic 模型证明 2008 年悬置的 Aaronson-Ambainis 猜想 — DeryaTR_ · 2026-11-07
- Perplexity 读书会分享幻灯片串起快权重、测试时训练与 SSM — PMinervini · 2026-11-07
- Poincar3：多视角自蒸馏涌现3D几何理解能力 — rsasaki0109 · 2026-11-07
- 31 岁准硕士生自述：读了几百篇论文，研究点子仍显笨拙 — sooham · 2026-11-07
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07