研究者回顾：早期 GPT-4 裸露概率或可被千万美元蒸馏

开发者 Matt Carrig（carrigmat）回顾称，在 2023 年 1000 万美元还被视为非常昂贵的训练成本，而早期 GPT-4 直接开放 top-5 token 概率、也没有可隐藏的 CoT，几乎是对外「敞开大门」。他感慨，在如今各家对蒸馏防护如此严密的背景下，当时的 GPT-4 只需约千万美元即可能被整模型蒸馏复原，与今天的反蒸馏措施形成鲜明对比。

2026-10-23 ~ 2026-10-23 · 2 条相关