capi 作者点破训练提速技巧:按批次比例丢 token 替代逐样本 dropout
giffmana · x · 2026-09-09
- Tim Darcet 提出改进 token drop 的做法:把「每个样本以概率 p 被丢弃」改为「每个 batch 丢弃固定比例 p」,这样各样本形状恒定、效率更好,且全部在 GPU 上时能完美通过编译。
- giffmana 回应指出这与 tokendrop 中的 permute+slice 是同一招,但也提醒:固定比例丢 batch 只适用于样本尺寸固定的场景,如今视觉和语言模型中可完整看到某层或不看的动态尺寸情形已基本不适用。并提到这来自 capi 项目。
所属事件:Meta 研究员分享按批次比例丢弃样本的训练提速技巧(3 条相关)→
「Infra」频道最新
- RTX 30 系显卡解锁项目爆火：BF16 提速 80% 直逼专业卡 — StasBekman · 2026-10-27
- 马斯克断言:机器人 RAM 需求将超其他一切,超级智能算力将移向深空 — elonmusk · 2026-10-27
- RTX 5090 卖到 7000 美元，PC 游戏社区集体否认 AI 热潮 — PAstynome · 2026-10-27
- Wan2GP 上架 Pinokio：6GB 显存一键跑 AI 视频生成 — cocktailpeanut · 2026-10-27
- AWS 详解 Agent 提示缓存：显式+隐式双模式省下重复 token 账单 — AWS ML Blog · 2026-10-27
- 6 个月被抢超 1 亿美元：盗贼用 GPS 欺骗劫走数据中心货物 — Ars Technica AI · 2026-10-27