GPT 复核论文数据:DeepSeek 第二阶段涨幅被严重低估
teortaxesTex · x · 2026-10-29
teortaxesTex 用 GPT 复核一篇 Agent 训练对比论文(2610.33624)的原始数据,发现「基准只涨 4 分」的报道严重低估了 DeepSeek 的进步:
- DeepSeek:16 项能力基准中 10 升 5 降 1 平,平均归一化进度 38.0%→47.7%,约 +9.7 分;LiveCodeBench 14.9→26.9、HMMT 3.0→12.1、MMLU-Pro 57.9→62.7;人类偏好评分相对 NVIDIA 基准 +172,而基准仅 +4——说明收益主要来自人类反馈与风格控制,而非刷榜。
- MiniMax:人类评分 +68,但基准反而 -18,平均进度 54.5%→43.1%,最终筛选漏掉了严重回归。
- GLM:初始工程更强(阶段 1 领先),但对新反馈的吸收改进不如 DeepSeek。
GPT 的结论:对有丰富上下文和人类指导的成熟研究机构,DeepSeek 那种「根据反馈产出性适应」的能力可能更有价值;不过 DeepSeek 用了 516 GPU 时 vs GLM 的 144,不算公平对比。这也侧面支持「DeepSeek 模型在组织内部可能比陌生环境初试表现更强」的假设。
「模型」频道最新
- 有人断言 DeepMind 已在文本图像视频语音全线失守 — zacharynado · 2026-10-29
- Efficient-Large-Model 发布 Open-H3-Regenerate-2K 开源模型 — Heavy_Emu_4278 · 2026-10-29
- 「没见有人用 Gemini 写代码」引热议，社区再争其编码能力 — zacharynado · 2026-10-29
- theo 炮轰新模型跑分:不如 Composer 2,运行成本还高 4 倍 — zacharynado · 2026-10-29
- 网传 Gemini 新命名分层：Carbon/Argon/Flash 对标 Opus 与 Haiku — koltregaskes · 2026-10-29
- Kaggle 举办 Bench Summit:指出现行基准测试三大失效问题 — MeganRisdal · 2026-10-29