开发者蒸馏 Jev 大模型：TF-IDF 小模型竟追平 27B 老师

受 typesafe.ai 的 Jev 式「System One」决策模型启发，开发者将开源 Open-Jev 27B 模型用约 1000–2000 条标注数据蒸馏成两个小模型：3GB 的 Qwen 学生模型在 MacBook 上每秒标注 55 条，70MB 的 TF-IDF 模型每秒可标 1.5 万条。最意外的结果是两者准确率（67.6% 与 68.6%）均与教师模型（67.5%）统计持平，大幅降低成本。作者提醒并非所有 Jev 任务都能如此替代，且官方托管版在同测试集上达 79.6%；实验借助 ZenML 实现云端 GPU 与本地 CPU 无缝切换与缓存，相关示例已作为 PR 开源。

2026-09-25 ~ 2026-09-25 · 2 条相关