上下文蒸馏注入价值观会外溢，加两招后提升 13%
Sauers_ · x · 2026-11-15
在 Qwen3-8B 上做 value 注入的 context distillation 实验：给带书面价值观提示词（关心动物福利）的教师模型，训练无提示词的学生模型模仿其输出，用 68 个不提及动物但价值观可能相关的困难 prompt 测评。
- 普通蒸馏在 33% 的无关回复中外溢了该价值观
- 两个改进修复了外溢并超过基线：只在价值观相关的 prompt 上蒸馏（其余复制普通模型），以及把目标强度推到 2 倍（类似 classifier-free guidance）
- 结果比普通蒸馏 +13%，外溢降到 7%（单种子，复现进行中）
「研究」频道最新
- Epoch AI：后训练增强等效 5-20 倍算力收益，成本不到 1% — CFGeek · 2026-11-15
- Leech 格点量化把 Qwen3 压到 2.7 比特,质量超 IQ2_S 但速度更慢 — Fuzzy-Layer9967 · 2026-11-15
- 混合决策模型论文：只在30%问题上推理，延迟降72.5% — hbouammar · 2026-11-15
- 用自然尺度高斯噪声做4维随机 steering 实验引发跟进讨论 — Sauers_ · 2026-11-15
- 「算力乘数」是什么?一文讲透 AI 的算法效率概念 — CFGeek · 2026-11-15
- 研究者反驳 Dwarkesh：定义并爬升 AGI 指标才是硬问题 — dhadfieldmenell · 2026-11-15