早期 GPT-4 裸露 top-5 token 概率，千元万美元或可整模型蒸馏
carrigmat · x · 2026-10-23
开发者 carrigmat 回顾：在 2023 年，1000 万美元还被认为是非常昂贵的训练成本，但对比今天的反蒸馏措施，早期的 GPT-4 几乎是「敞开大门」——不隐藏思维链（无 CoT），且直接返回 top-5 token 概率。他估算，利用这些概率输出，当时可能用 不到 1000 万美元 就能把整个 GPT-4 蒸馏复原出来。这条观察折射出行业风气的转变：从开放概率输出到如今各厂商严格限制蒸馏。
所属事件:研究者回顾：早期 GPT-4 裸露概率或可被千万美元蒸馏(2 条相关)→
「模型」频道最新
- 智能体蜂群协作 1 万小时实测：Gemini-3.8-Flash 提速 23% 居首 — mrdrozdov · 2026-10-23
- Embed 5 Pro 五套语料测得 65.8 nDCG@10,仅次于 ColEmbed-3B-v2 — qdrant_engine · 2026-10-23
- 前沿 AI 公司漏洞赏金为何便宜:自家模型拉高供给 — lxrjl · 2026-10-23
- OpenAI 一周 7 项更新帮你省钱:缓存延长至 12 小时、Decisions API 降 token 消耗 — MrCashMahon · 2026-10-23
- 用 100 篇经典人写文本实测 Pangram:格式差异可致 AI 检测误判 — GolinoHudson · 2026-10-23
- 27B 模型低量化+64k 上下文翻车:推理空转不写码,疑似低 quant 拖累 — mailto_devnull · 2026-10-23