开源训练器比 ms-swift 快 58%，单卡跑出 12,523 tokens/s
incorporo · reddit · 2026-11-03
Reddit 用户 incorporo 开源了一套面向 BH200/H100/A100 的模型训练优化方案，同时覆盖文本到图像模型（IdeogramV4 类）与 LLM（Qwen3.5-9B 类）训练器。
核心结果：
- 相同数据与配置下，比 ms-swift 快 58%、比 Unsloth 快 76%、比 transformers+PEFT 快 178%；
- 训练 Qwen3.5-9B 达 12,523 tokens/s，MFU 约 53.9%（时钟修正后，因测试机 Arrhenius 有功率限制）；对比方案 ms-swift ≈24%、Unsloth ≈22%、transformers+PEFT ≈14%；
- loss 差异 <6e-4，基本无损；微批次扫描最佳配置达到 43.7% 的额外提升空间。
作者还给出逐步耗时的消融分析，代码在 GitHub 的 logolabs/perfkit 仓库。
「Infra」频道最新
- 播客探讨：本地跑 AI 模型到底适不适合你？ — rez0__ · 2026-11-03
- 大量网站发现字节爬虫流量激增，规模堪比巨头级采集 — gefei55 · 2026-11-03
- 1e29 FLOPS 要 6.2 TWh 电，相当于 20 万块 GB200 跑 3.2 年 — mike64_t · 2026-11-03
- 企业用自有数据微调开源模型：成本降 95% 反超前沿模型 — pdamodaran · 2026-11-03
- OpenAI 推出 Grid Protectors:电网高峰时可削减 1000MW 供电 — rohanpaul_ai · 2026-11-03
- H200 满载也亏钱：开源推理托管算账显示选卡比选引擎更重要 — teortaxesTex · 2026-11-03