消费级硬件训练LLM工具
JusAnotherBadDev · reddit · 2026-07-14
作者分享了一个面向 **消费级硬件本地训练 LLM** 的开源工具，重点不是输出质量，而是训练过程的可观测性。 核心能力包括： - 在训练和推理时观察模型内部状态，查看哪些神经元被激活； - 把激活的神经元追溯回具体训练数据； - 用于幻觉检测，以及构建更大的 GPT harness / MoE / 长上下文等实验方向。 作者强调：当前演示里的模型只有约 800M 参数，输出文本本身几乎没有意义，真正有价值的是“看懂模型在学什么”。 另外，这个工具本身没有独立网站，代码在 GitHub；但作者把它包装进了公司网站，方便别人直接在线试用已经训练好的模型。