英伟达实现百万级矩阵分解，单卡显存容量翻倍
marc_stampfli · x · 2026-07-30
NVIDIA 研究团队发表了一项关于加速对称非负矩阵分解的研究，成功将计算规模扩展至 100 万×100 万 的矩阵，并跨 64 块 GB200 GPU 进行分布式运算。
技术突破
- 内存优化：通过迹恒等式重构消除了所有 $n \times n$ 的中间矩阵，使单张 GPU 的处理容量几乎翻倍，单卡可处理规模达 $n \approx 10^5$。
- 算法评估：系统性测试了 7 个算法族（超 30 种配置）。在百万级极限规模下，有 5 种 AdaGrad 家族的方法依然能够收敛。
- 场景表现：在尾部依赖性频谱中，Block-SVRG AdaptGrow 算法凭借更低的单次迭代成本胜出；而在主导低秩相关性频谱中，全批量 AdaGrad 表现最佳。
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16