开发者用8GB显存笔记本从零训练持续学习模型，已至5.3亿参数
Another__one · reddit · 2026-09-21
一位开发者在 Reddit 分享了 mini-AGI 项目：在一台 8GB 显存的笔记本上，用 batch-1 的连续数据流从零训练一个目前已达 530M 参数且仍在增长的持续学习模型。
核心思路有两点：
- 动态 MoE：训练过程中不断新增和剪除大量专家，任意时刻只加载使用中的少数专家，参数量上限只受磁盘空间约束；
- batch-1 流式训练：不需要存储大批量数据及其梯度，从而大幅降低显存需求。
作者表示动机是对无法在消费级硬件上训练 1B+ 模型的不满，希望完全掌控模型所见的数据。模型以 32K 字符为一段连续读取 7.8B 字符语料，「像人一样阅读」，目前仍在训练中。作者称整个项目是与 Claude 头脑风暴共同完成的，没有 AI 不可能做出来。项目已开源，可直接 git clone 运行观察，并附出了目前看好的 scaling 曲线。
「研究」频道最新
- 统一 3D 生成模型做可合成药物设计，「可合成性」之争引出虚拟筛选新方案 — _onionesque · 2026-09-21
- NOHARM 肿瘤 AI 安全研究获 ANCO 最佳海报，医生联盟招募却零报名 — davidjhwu · 2026-09-21
- 驳「理论皆所需」论文：主动学习与因果模型已能设计实验 — maier_ak · 2026-09-21
- 驳"理论只属于人类"：主动学习与强化学习早已能设计实验 — maier_ak · 2026-09-21
- 新论文实现消费级 GPU 上亚秒级交互式扩散图像生成 — chaumian · 2026-09-21
- 新论文提出 ANNA 注意力机制,亚二次复杂度不损表达能力 — kfountou · 2026-09-21