B200 微调实测最高提速 5.8 倍、显存减半
antoine_chaffin · x · 2026-07-28
- 这条转发分享了在 B200 上做检索模型微调的实测结果，重点是训练效率和显存占用的优化。
- GTE-ModernBERT-base + Sentence Transformers：速度提升 4.5 倍，显存减少 50%。
- GTE-ModernColBERT-v1 + PyLate：在使用 gradient cache 的情况下，速度提升 5.8 倍，显存减少 35%。
- 配图还给出了 loss 曲线、训练耗时和峰值 CUDA 内存对比，说明优化方案在不明显破坏收敛的前提下，显著降低了训练成本。
「Infra」频道最新
- 赞助 GPU 联系人开始公开，几个月前名单还是空的 — ctjlewis · 2026-07-28
- DeepInfra 上线 Claude Opus 5，支持 100 万上下文和新价格 — gharik · 2026-07-28
- Bittensor 推出面向 agent 的 MCP 入口，可路由存储推理训练 — markjeffrey · 2026-07-28
- 帖文称中国芯片至少还要十年才会被云厂商考虑 — inductionheads · 2026-07-28
- Packed-encoders 通过去掉 padding 计算把训练提速 5 倍 — antoine_chaffin · 2026-07-28
- Gemma 4 在 48GB Mac 上本地实测，MLX 对比 llama.cpp 和 Java 25 — rseroter · 2026-07-28