修正 Chinchilla 缺陷：新缩放定律将外推误差降 3 倍
burny_tech · x · 2026-08-13
新论文 Skaling 指出了广泛使用的 Chinchilla 缩放定律存在一个关键缺陷：其假设模型大小和训练数据对损失的影响是独立的。
研究人员引入了一个耦合指数，提出了泛化版的 Skaling 定律。这一改进将平均绝对百分比误差（MAPE）降低了 1.5 至 3 倍。结合低算力区域的稀疏网格策略，该方法仅需约十分之一的计算资源，就能准确预测全网格的性能表现，为下一代模型训练的算力预算分配提供了更高效的框架。
「研究」频道最新
- 回归诊断实操：VIF 超过 10 说明共线性已在膨胀你的标准误 — mdancho84 · 2026-09-20
- 回归诊断实操：Cook's distance 轮廓线外的点先查再信结果 — mdancho84 · 2026-09-20
- 数据科学家必做的 6 项回归诊断检查，别再盲信模型 — mdancho84 · 2026-09-20
- EMNLP 论文：LM 改写让 75% 输出失真，更倾向把「可能」写成「是」 — sameer_ · 2026-09-20
- Pachter 再列 Nucleus 广告硬伤：身高 R² 巧合到三位小数、队列错配 — lpachter · 2026-09-20
- 生物学家拆穿 Nucleus：胚胎筛查提升 IQ 10.8 分的前提站不住脚 — lpachter · 2026-09-20