Ternary 权重巧用稀疏性，DGX Spark 算力性价比称霸

bittingthembits · x · 2026-08-23

通过将模型权重转换为 Ternary(-1, 0, 1)格式，可利用 NVIDIA GPU 的原生稀疏性(sparsity)实现近 2 倍性能提升。这种方法天然具备 2:4 的稀疏结构，且对模型质量损耗极小。基于此的 DGX Spark(搭载 GB10 GPU)提供 1 PFLOP 的稀疏 FP4 算力，售价仅 4700 美元。虽然其显存速度较慢(约为 GDDR7 的 1/4 到 1/6)，但配合稀疏计算、FP8 梯度及有限的 KV Cache 等技术，可大幅减少内存操作。对比 B300 服务器，DGX Spark 在单 PFLOP 成本上极具优势，且可在家庭环境下运行，为去中心化预训练提供了新路径。