手机本地小模型界面发布

Key-Outcome-2927 · reddit · 2026-07-10

作者发布了一个用于管理可在手机上运行的小模型的界面。当前 4B 模型在高端手机上表现较好，1.7B 模型在开启推理时还不够稳定，作者计划通过深度微调和更大规模的数据集来改进它。作者使用 32B 模型作为教师模型，将能力蒸馏到小模型上，并表示数据集大约还需要 10 天完成。