英伟达将演示 NVFP4 预训练配方，逼近 BF16 质量
PyTorch · x · 2026-09-01
NVIDIA 研究人员将在 PyTorch Conference North America 2026 上展示最新的 NVFP4 预训练配方，该配方旨在加速大规模 LLM 训练，同时缩小与 BF16 在质量上的差距。会议将于 10 月 21 日举行，内容涵盖配方设计、内核选择以及原生 PyTorch 工作流所需的 API。目前，稠密线性 NVFP4 训练已通过 TorchAO 开源，相关配方正通过 TorchAO 和 TorchTitan 上游至 PyTorch 生态。
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16