困惑度指标三大坑:算算力账、防 benchmax、Anthropic 删 METR 数据
eliebakouch · x · 2026-11-23
eliebakouch 称 OpenAI 的预训练透明度博客对理解迈向 RSI 的预训练进展「极其重要」,并补充两点:1) 直接报告原始困惑度有重要局限——数值高度依赖算力投入(效率增益是更好的指标),且可通过数据配比被「benchmax」刷高;他主张将算法进步与数据分开看,预训练数据问题不大,因为各实验室数据相似且预计不会在 held-out 集上作弊。2) 发布时机敏感:Anthropic 刚从 METR 评测报告中删除了所有预训练相关指标。
「漫话AGI」频道最新
- Kevin Roose 访谈 150 人,讲述打造现代 AI 的幕后故事 — every · 2026-11-23
- AI 安全路线之争:激进者该最先停下还是最后停下? — akbirthko · 2026-11-23
- AI 文本屡赢写作比赛,是模型太强还是评委太差 — TuhinChakr · 2026-11-23
- 《纽约客》长文:AI 正攻克困扰数学界数十年的难题 — EricTopol · 2026-11-23
- 妙喻:佩雷尔曼解庞加莱猜想堪比李世石从 AlphaGo 手里赢下一局 — gordic_aleksa · 2026-11-23
- 数学学者提议把本地模型调优到 Lean 定理证明最强 — StefanoGogioso · 2026-11-23