DGX Spark 上花 26 小时蒸馏 DeepSeek V4 Flash,4B 小模型单次判断仅 22ms
Dan_Jeffries1 · x · 2026-09-19
日本开发者 @taroleo 分享了一次本地蒸馏实验:用 DGX Spark 花约 26 小时,把权重 157GB 的 DeepSeek V4 Flash 的判断能力蒸馏到一个 4B 小模型中。
关键结果:
- 蒸馏时舍弃 text/ 生成,只保留判断任务,单次推理可做到约 40ms
- 4B 模型仅约教师模型 1/20 体积,判断准确度已超过教师的"即答模式"
- 每次判断约 22ms,全程纯本地 LLM 运行
作者的思路是:与其让大模型输出完整 JSON,不如砍掉生成只做分类判断,速度可以量级式提升。这是端侧部署 + 蒸馏的一个可参考案例。
所属事件:开发者用 DGX Spark 26 小时蒸馏 DeepSeek V4 Flash(2 条相关)→
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04