Meta 研究质疑 Chinchilla 定律：算力与数据存在交互效应
burkov · x · 2026-08-20
Meta 的一项新研究对 Chinchilla 缩放定律的基础假设提出了挑战。传统公式假设模型规模和数据量对训练误差的影响是相互独立的（可加性）。通过对近 400 次训练运行的测量，作者发现增加数据带来的收益实际上会随着模型变大而增加，两者并非独立。这意味着同时增加算力和数据的效果优于单独增加其中一项，现有的缩放预测公式可能需要修正以包含这种交互项。
「研究」频道最新
- 单细胞基础模型综述：百款模型涌现，扰动预测仍待解 — david_van_dijk · 2026-08-20
- 综述揭示单细胞基础模型现状：百种模型涌现，扰动预测仍未解 — david_van_dijk · 2026-08-20
- 逆向 RK3588 NPU：开源编译器实现 GPT-2 跑出 36 tok/s — one_does_not_just · 2026-08-20
- NVIDIA 宣布 9 月举办 FLARE Day 活动 — AllThingsApx · 2026-08-20
- NileAGI 发布斯瓦希里语理解评测项目 NILEAGI-SUB — Cohere_Labs · 2026-08-20
- 从零构建现代 LLM，逐行注释讲解 — raiyanyahya · 2026-08-20