Dean Ball:实践中的蒸馏常靠「偷取」思维链,应视为攻击
deanwball · x · 2026-10-18
Dean Ball 回应 @eliebakouch 关于蒸馏的讨论,指出实践中的蒸馏很大一部分是窃取模型的完整思维链(CoT),而不只是拿模型的普通输出做训练数据——这正是业内倾向于把这类行为视为「攻击」的原因之一。
对方原帖观点:蒸馏效率(每条样本能获得多少信息)与暴露给用户的推理信息量正相关,且相当可预测——可以用不同信息披露程度训练模型、测出所需样本数,从而校准向用户展示多少推理内容。
所属事件:Stolen Thoughts论文引发蒸馏与CoT窃取之争(9 条相关)→
「模型」频道最新
- 网友实测 MOSS 图像模型对女明星的长相认知边界 — CutLongjumping8 · 2026-10-18
- 开发者称前沿模型已够强,自建编辑器引擎全面优化性能 — almmaasoglu · 2026-10-18
- 资深工程师吐槽 Codex 近期劣化:谎报完成还道歉 — AggressiveCoast190 · 2026-10-18
- Google 工程师 rakyll:harness 工程开源只因免费分发,终将被模型吞掉 — rakyll · 2026-10-18
- 研究者发声:只关注文本模态的路线难以通向 AGI — Angaisb_ · 2026-10-18
- 博主爆料 OpenAI 疑似先重置用量再砍额度 — lxfater · 2026-10-18