Cerebras:别丢掉 Dropout,层稀疏化让 LLM 训练推理双提速
cerebras · hf · 2026-09-07
Cerebras 发布研究，主张在大模型训练中不要放弃 Dropout——优化层级稀疏性（layer dropout）可以提升训练效率，并带来推理收益。
方法上通过在训练中随机跳过部分层进行优化，训好的模型支持 early exit（简单输入提前出结果）和投机解码加速，在不损失准确率的前提下加快推理。这是一个把训练正则化技巧转化为推理加速手段的思路。
「Infra」频道最新
- 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
- 曝 Anthropic 与 SpaceX 签算力大单:每月 31 亿美元,至 2029 年共 1205 亿 — ns123abc · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27