16GB 内存 MacBook M1 上从零训练 100 万参数小语言模型

Slight_Ad_2894 · reddit · 2026-09-05

一位开发者分享了自己在 16GB 内存的 MacBook M1 上从零构建小型 LLM 的项目：使用法语语料作为数据集，BPE 分词器，训练了一个约 100 万参数的神经网络。目标是理解 LLM 的内部机制并教学，而非做出 SOTA 模型。

目前模型的输出语法尚可但缺乏上下文理解，无法很好地回答提问。作者在帖中求助优化资源，评论区的建议通常指向：参数量太小导致模型只会学语法而非知识，需要扩大规模、在指令数据上微调，或参考 nanoGPT、Karpathy 的「Let's build GPT」等从零教学资源。