数学能力突破靠 RL 而非预训练?困惑度指标遭质疑
stochasticchasm · x · 2026-11-23
stochasticchasm 质疑用预训练困惑度(log-perplexity 0.76)来解释模型数学能力爆发的说法:脱离数据集、上下文长度等条件,这些数字很难有意义。他认为数学上的突破性发现和能力提升主要由 RL 驱动,而非预训练。
「模型」频道最新
- 困惑度指标三大坑:算算力账、防 benchmax、Anthropic 删 METR 数据 — eliebakouch · 2026-11-23
- 中国开源模型逼近闭源前沿:企业选型进入「架构比拼」时代 — ingliguori · 2026-11-23
- 网友质疑 OpenAI 困惑度叙事:数学突破靠 RL 而非预训练 — stochasticchasm · 2026-11-23
- 博主给出综合模型榜:opus 5.5 居首,兼顾成本与速度 — MatthewBerman · 2026-11-23
- 用 Gemini 4 Neon 做出黄金街第一视角凶案推理游戏 — venturetwins · 2026-11-23
- OpenAI 基座模型困惑度路线图泄露:内部模型已越千年数学奖门槛 — iruletheworldmo · 2026-11-23