低困惑度≠理解结构:无聚类训练可靠记忆刷到2.2
proteinrosh · x · 2026-11-18
proteinrosh 补充一个重要辨析:不聚类、直接训练一个超大模型也能把困惑度做到 2.2 左右——这种情况下模型实际上是在记忆数据,其表征对结构预测并没有用处。因此不能仅凭困惑度数字断定模型理解了蛋白质结构,需要用结构预测任务验证。
所属事件:蛋白模型困惑度之争:低至 2.2 是否等于理解结构(3 条相关)→
「研究」频道最新
- Lean 社区通过机器可验证检查器认证黎曼证明;蜜罐假密钥曝光三家大模型厂商泄露 — LeviTurk · 2026-11-22
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22
- 生成式 AI 进心脏病学:Dagstuhl 跨学科研讨会落幕 — StephanMandt · 2026-11-22
- SubRoformer 用 DSP 子带滤波器刷新音乐源分离 SOTA — affige_yang · 2026-11-22
- Emily Riehl 推出 Lean 证明入门游戏,用交互方式教依赖类型论 — abhi9u · 2026-11-22