OpenAI 首次公开内部预训练困惑度曲线,提议以 perplexity 定行业安全标尺

merettm · x · 2026-11-23

OpenAI 首席科学家 Jakub Pachocki 发布文章《Perplexity and Intelligence》,罕见公开公司内部预训练困惑度(log-perplexity)数据,并主张将 perplexity(等价于交叉熵损失)作为跨模型厂商可比的指标与共享安全标准的依据。核心论点:现代 AI 本质是在海量语料上训练"压缩器/预测器",追踪压缩能力的进展是理解 AI 进步弧线的关键;超越某困惑度阈值的进展,应以能否理解模型行为为闸门。公开内部数据虽让竞争对手看清自身位置,但 OpenAI 认为建立行业共享安全标尺更为紧迫。配图显示其基模型困惑度从 GPT-3.5 的约 0.99 降至 GPT-6.2 Astra 约 0.76,各能力阈值(流畅对话、先思考再回答、有用编码、网络安全专家、解出千禧年数学奖问题)对应不同困惑度水平,还有一个未发布的内部模型已低于千禧年问题阈值。

原文链接 →

「安全」频道最新

更多「安全」频道 AI 资讯 →