权重魔改易伤生成类评测，MMLU 却基本无恙
aryaman2020 · x · 2026-10-17
aryaman2020 在讨论模型修改的鲁棒性时指出：对模型做各种「疯狂改动」通常不会明显影响 MMLU 这类基准成绩，但生成式任务（generation-based tasks）非常容易被打坏——提示基准分数未必反映真实能力变化。
「模型」频道最新
- Glimpse 多模态基准比肩前沿模型,碾压 Flash 级小模型 — melvinjohnsonp · 2026-10-17
- OpenAI 升级 GPT-6 Pro：响应更快，多 Agent 可并行分工任务 — OpenAI · 2026-10-17
- Glimpse 模型多模态基准比肩前沿，同尺寸碾压 Flash 级对手 — dustinvtran · 2026-10-17
- Perplexity 推出 Decisions API:决策模型每百万输入 token 仅 1 美分 — AravSrinivas · 2026-10-17
- Arena 周报：Gemini 4 Argon 闯入 Agent 榜前五,Meta Muse Wonder 首发即列第二 — arena · 2026-10-17
- 特斯拉 FSD 被 RL 训得格外礼让：主动让行、避行人、躲动物 — ChrisGPT · 2026-10-17