开源工具让 B300 上 cudaMemcpy 分页拷贝提速 5 倍
makneeee · reddit · 2026-11-16
开发者 maknee 发布了 cudamemcpy-tuner 工具,可将 NVIDIA B300 上 pageable 内存的 cudaMemcpy 传输大幅提速:
- 基准:1 GB 张量 CPU→GPU 拷贝仅 10.2 GB/s
- 用 cmt tune -- python bench.py 调优后达 51.5 GB/s,约 5 倍提升
工具通过自动调优绕过 pageable 传输的默认慢路径,附带博客详解原理,代码开源于 GitHub。对受小拷贝带宽瓶颈困扰的训练/推理管线有直接实用价值。
「Infra」频道最新
- audio.cpp 0.9.5 上线本地实时数字人语音聊天,5090 延迟约 850ms — Acceptable-Cycle4645 · 2026-11-16
- audio.cpp 0.9.4 上线本地实时数字人语音聊天,5090 延迟约 850ms — Acceptable-Cycle4645 · 2026-11-16
- Exo 再购两台 DGX Spark，押注本地推理对抗开源权重禁令 — kuchaev · 2026-11-16
- 美财长电视上质疑英伟达"违规销售吹高营收" — ShakeelHashim · 2026-11-16
- AI「卖铲人」交易瓦解：数据中心概念股领跌，FT 分析投资者信心动摇 — bigdata · 2026-11-16
- Bittensor 自称「开放 AI 支付层」:128 子网、无 CEO、2100 万上限 — bittingthembits · 2026-11-16