讨论蒸馏攻击与分专家蒸馏
BlackHC · x · 2026-07-17
围绕“蒸馏攻击”展开讨论：先用已有轨迹对不同专家做监督微调，再把这些专家软蒸馏回目标模型，可能比直接蒸馏更少相互干扰。 对方质疑蒸馏攻击为何常被提及，理由是没有 logits 时蒸馏效率很低，而多数前沿实验室又不会开放 logits，因此这类攻击到底如何发生值得怀疑。
BlackHC · x · 2026-07-17
围绕“蒸馏攻击”展开讨论：先用已有轨迹对不同专家做监督微调，再把这些专家软蒸馏回目标模型，可能比直接蒸馏更少相互干扰。 对方质疑蒸馏攻击为何常被提及，理由是没有 logits 时蒸馏效率很低，而多数前沿实验室又不会开放 logits，因此这类攻击到底如何发生值得怀疑。