DGX Spark 26 小时蒸馏 DeepSeek V4 Flash，4B 模型单判断仅 22ms

alexcovo_eth · x · 2026-09-20

开发者 taroleo 分享了一次完整的模型蒸馏实践：他用 DGX Spark 花约 26 小时，把重达 157GB 的 DeepSeek V4 Flash 蒸馏成 4B 小模型，体积缩至约 1/20 后判断质量反而超过了教师模型的「即答模式」，单次判断延迟约 22ms，全程可在本地 LLM 上完成。

转发的 studioyebisu 由此提出一个商业观察：拥有大量算力与 AI 知识的人，可以考虑「面向企业定制化蒸馏并销售专用小模型」这门生意。通用 API 的弱点在于响应方式与判断准确性存疑，而企业若准备高质量的「正解」教师数据，蒸馏出参数量小、按场景给出正确判断的本地模型，价值不可估量。原作者也补充其蒸馏用了合成数据与大模型标注。