基础模型困惑度重成焦点,社区感叹回到 2023 年

社区重新掀起以基础模型预训练 log 困惑度论高下的讨论,有人感叹仿佛回到了 2023 年由 base model 困惑度决定一切的时代。@eliebakouch 指出 base log perplexity 对 Epoch 与 OpenAI 的能力指标具有极强预测力。评论者 stochasticchasm 补充说明,并非认为困惑度无关紧要,而是脱离数据规模等背景单看排名并不合理,强调时代已经不同。

2026-11-23 ~ 2026-11-23 · 2 条相关