困惑度指标三大坑:算算力账、防 benchmax、Anthropic 删 METR 数据

eliebakouch · x · 2026-11-23

eliebakouch 称 OpenAI 的预训练透明度博客对理解迈向 RSI 的预训练进展「极其重要」,并补充两点:1) 直接报告原始困惑度有重要局限——数值高度依赖算力投入(效率增益是更好的指标),且可通过数据配比被「benchmax」刷高;他主张将算法进步与数据分开看,预训练数据问题不大,因为各实验室数据相似且预计不会在 held-out 集上作弊。2) 发布时机敏感:Anthropic 刚从 METR 评测报告中删除了所有预训练相关指标。

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →