DeepSeek 蒸馏 Gemma 4 实验
Paramecium_caudatum_ · reddit · 2026-07-09
作者用 DeepSeek 生成答案重构数据集，再分别对 Gemma 4 26B 和 12B 做 QLoRA 蒸馏训练，并对比了两者的显存占用、训练损失和验证表现。
Paramecium_caudatum_ · reddit · 2026-07-09
作者用 DeepSeek 生成答案重构数据集，再分别对 Gemma 4 26B 和 12B 做 QLoRA 蒸馏训练，并对比了两者的显存占用、训练损失和验证表现。