Cerebras 论文：层 dropout 省四分之一训练算力，推理提速 1.55 倍
burny_tech · x · 2026-09-09
Cerebras 团队论文《Don't Drop Dropout》推翻了「dropout 在大规模预训练中损害精度」的流行认知，证明配置得当的层 dropout 应该重回 SOTA 训练配方。
核心做法
- 以整个 Transformer block 为单位应用层 dropout（即随机深度），按序列采样
- 沿网络深度采用递增的丢弃分布
- 训练过程中丢弃率按递减日程衰减至零
主要结论
- 基于 2400 余次训练实验（模型 271M–8.2B 参数，数据最多 160B tokens），相同训练 FLOPs 下层 dropout 带来更低验证损失
- 相同步数下最高可省 25% 训练 FLOPs 而保持精度
- 训练后收益：模型具备「深度弹性」，支持 early exit、跳层推理和 self-speculative decoding，推理最高提速约 1.55 倍且精度损失可忽略
所有预训练实验在 Cerebras CS-3 系统上完成。
所属事件:Cerebras论文：层级dropout可省四分之一训练算力(2 条相关)→
「Infra」频道最新
- M5 iPad Pro 本地 15 秒出图:Flux.3 Klein 加 4 步 Distill LoRA 实测 — JosephJacks_ · 2026-10-24
- 开源框架让 35B MoE 模型跑进 16GB Mac:25+ tok/s,手机也能跑 — dai_app · 2026-10-24
- 头部 1% 企业超三分之一 AI 支出已投向算力 — nathanbenaich · 2026-10-24
- AI 推理工程师需求暴涨,学者列出 25 道面试硬核题并公开招人 — DrDatta_AIIMS · 2026-10-24
- 麦肯锡：2030 年前 AI 基建投资约 7 万亿美元，需年利润 7600 亿美元支撑 — ingliguori · 2026-10-24
- capy-flash v0.7.4:双 5070 Ti 跑 Qwen3.8,解码 379 tok/s — FeydRowan · 2026-10-24