开发者用8GB显存笔记本从零训练持续学习模型，已至5.3亿参数
Another__one · reddit · 2026-09-21
一位开发者在 Reddit 分享了 mini-AGI 项目：在一台 8GB 显存的笔记本上，用 batch-1 的连续数据流从零训练一个目前已达 530M 参数且仍在增长的持续学习模型。
核心思路有两点：
- 动态 MoE：训练过程中不断新增和剪除大量专家，任意时刻只加载使用中的少数专家，参数量上限只受磁盘空间约束；
- batch-1 流式训练：不需要存储大批量数据及其梯度，从而大幅降低显存需求。
作者表示动机是对无法在消费级硬件上训练 1B+ 模型的不满，希望完全掌控模型所见的数据。模型以 32K 字符为一段连续读取 7.8B 字符语料，「像人一样阅读」，目前仍在训练中。作者称整个项目是与 Claude 头脑风暴共同完成的，没有 AI 不可能做出来。项目已开源，可直接 git clone 运行观察，并附出了目前看好的 scaling 曲线。
所属事件:开发者用 8GB 显存笔记本从零训练 mini-AGI(4 条相关)→
「研究」频道最新
- ECIR 2027 设 SAFE-SEARCH 研讨会，聚焦对话式搜索安全，1 月 15 日截稿 — HamedZamani · 2026-11-12
- 仅用正例自举后训练：235B 模型写出与人类难以区分的科学文本 — AllThingsApx · 2026-11-12
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12