Gwern 旧论断被重提:采样只能揭示知识的在场,无法证明缺席
akbirthko · x · 2026-10-07
akbirthko 引用 Gwern 的著名论断:「采样只能揭示知识的在场,而不能揭示知识的缺席」(sampling can only reveal presence of knowledge not absence),并感叹回头看,这句话本应足以解释很多事。
这是 LLM 评测领域的经典洞察:单次生成失败不能证明模型不掌握某知识或能力——可能只是采样运气问题。这条提醒对解读一切「模型不会 X」的评测结论都有意义:负向结论需要更充分的采样或更严格的探测方法,否则容易被温度和运气误导。
「漫话AGI」频道最新
- 自动化研发或引发能力跃升：介乎 FOOM 与常态之间的「第三种奇点」 — teortaxesTex · 2026-10-07
- AI 攻克 500 道数学开放难题中的 90 道,黎曼假设现部分证明 — markjeffrey · 2026-10-07
- Hinton、Bengio 等 20 余专家撰文:政府应追踪「AI 做 AI 研究」的规模 — rohanpaul_ai · 2026-10-07
- 「死亡将成为可选项」：哪代人能率先等到？ — thesaraharminta · 2026-10-07
- OpenAI 开闸放式 300+ 数学解,含 4 维 Kakeya 问题证明 — Singularitarian · 2026-10-07
- AI 开始解答数学难题：人类不再推进前沿 — rand_longevity · 2026-10-07