DeepMind 研究员解读新预训练:非算力加速,靠数据与算法改进
tobyordoxford · x · 2026-11-07
DeepMind 研究员 Toby Ord 在 X 上讨论近期关于下一代模型的传闻,判断其能力跃升并非来自训练算力加速,而是两方面的组合:一是自上次大规模预训练以来长期稳步推进的更大规模新一轮预训练,二是数据质量和预训练算法的多项改进。
他的量级猜测是:一次大规模新预训练带来约 5 个 AECI 的提升,再叠加约 1.4 倍的速度改进,并认为相关说法并未排除这一解释。
「模型」频道最新
- Inkling 2 Small 以极低成本登顶开源模型 ARC-AGI-2 榜，下周开放权重 — LiTianleli · 2026-11-07
- 用户报告 Gemini 记忆功能失效：无法读取或写入记忆 — Boshirul · 2026-11-07
- 业内观点:预训练将持续演进,数据审查仍离不开人工介入 — himanshustwts · 2026-11-07
- 本地 LLM 迎黄金时代:Qwen 量化模型 12GB 显存跑 131k 上下文 — Present_Resource4022 · 2026-11-07
- 实测 Kimi K3.1 Pro 照片转 3D:思考推理几何光照并生成 Three.js 场景 — demian_ai · 2026-11-07
- Nous Research 发布 Arete-27B:微调后中国模型宣传率从 22% 降至 1% — NousResearch · 2026-11-07