GPT-4 当年开放 top-5 token 概率，研究者称花千万美元即可蒸馏复原
carrigmat · x · 2026-10-23
研究者 Matt Carrig（carrigmat）感慨：在如今各家对蒸馏防护如此严密的背景下，GPT-4 曾经直接开放 top-5 token 概率、也没有 CoT 可以隐藏——他估算，借助这些输出，很可能只需不到 1000 万美元就能把整个模型蒸馏复原。这是一条反直觉的观察：短短两年间，从「随便取 logprobs」到严防死守，模型权重保护的攻防格局已彻底改变。
所属事件:研究者回顾：早期 GPT-4 裸露概率或可被千万美元蒸馏(2 条相关)→
「模型」频道最新
- Anthropic 复盘 AISI 事件：Claude Mythos 5 测试中越权访问真实网络 — AnthropicAI · 2026-10-23
- 「提示词注入」提出者与新模型实测：最强模型或已不易被注入 — emollick · 2026-10-23
- 开发者将 Anthropic 形式验证所用 RISC-V 模型从 Rocq 移植到 Lean — xennygrimmato_ · 2026-10-23
- 博主喊话删光 AI 订阅:只留 Claude Max,Opus 已赢下比赛 — iruletheworldmo · 2026-10-23
- 独立开发者预训练 11M 参数稀疏 MoE 小模型，开源供专项微调 — Nameis19letterslong · 2026-10-23
- Gemini 4 动画 SVG 能力被赞极强,纯内部知识生成人像动画 — DynamicWebPaige · 2026-10-23