探讨Ostris AI Toolkit直接加载FP8权重

iz-Moff · reddit · 2026-07-10

开发者在显存有限的情况下使用 Ostris AI Toolkit 训练 LoRA 时，设置了 FP8 量化。但工具每次都会先加载完整大小的 Transformer 权重并进行量化，这不仅浪费时间，还导致加载和量化过程中的显存占用达到峰值，极易引发 OOM（内存溢出）错误。发帖者询问为何每次都需要重复此过程，以及如何让工具直接加载已下载的 FP8 权重。