开源权重会泄露训练用 GPU：取证方法显示六款中国新模型用的是 Blackwell
Antique_Atmosphere97 · reddit · 2026-11-13
一篇模型权重取证分析引发关注:PyTorch 初始化权重时经 cuRAND 用 Philox 生成随机数,每 SM 2048 线程的排布决定了每个随机数落点;训练从未触碰的权重行保留初始值,因此可通过搜索 seed + 线程数反推出生成这些权重的 GPU SM 数量。
该方法在所有 24 个公开了硬件信息的模型上均与官方披露吻合:Llama 3.1 读出 132 SM(H100),Nemotron-3 Ultra 读出 152(GB200);作者还在物理 B300 上逐位复现了 DeepSeek-V4-Flash 的 445 行权重。
最受关注的发现:六款近期中国模型(DeepSeek-V4-Flash/Pro、Kimi K3/K3.1-Pro、MiniMax-M3、Ling-3.1-flash)读出的 SM 数都指向 NVIDIA Blackwell(148/152)。作者明确说明这只能证明初始化硬件,不能证明芯片位置或是否违反任何规定。
对开发者的提醒:发布 checkpoint 就等于泄露训练硬件,除非像部分 Qwen3 模型那样在 CPU 上初始化,或使用不带这种排布的框架。
「Infra」频道最新
- 开源扩散起草器 DynaDFlash:投机解码接受长度提升 5% — charles_irl · 2026-11-13
- 曝英伟达拟自研前沿开源模型,不愿再依赖 OpenAI 和 Anthropic — StewartalsopIII · 2026-11-13
- Celesto CI：microVM 跑 GitHub Actions,价格约为官方 runner 一折 — aniketmaurya · 2026-11-13
- 中国动用3万余名工人在内蒙古建大型AI数据中心枢纽 — Polymarket · 2026-11-13
- 律师用 8 块 2018 年 V100 跑 DeepSeek Flash:524K 上下文、100+ tok/s 全本地 — TumbleweedNew6515 · 2026-11-13
- 「新加坡」占英伟达营收 15-20%,评论区调侃早有征兆 — JensHonack · 2026-11-13