8GB 显存游戏本从零训出持续学习模型 mini-AGI，专家池长到 169 个
udmrzn · x · 2026-09-23
开发者 Alexey Borsky 开源了 mini-AGI：一个字节级持续学习语言模型，在一张 8GB 显存的 RTX 3070 笔记本显卡上从零训练，边读边学，代码主要由 Claude Opus 5 编写、调试和验证。
核心设计：
- 权重存磁盘按需分页：权重就是磁盘上的普通文件，用到哪块调进显卡，模型规模上限取决于硬盘而非显存；容量不够时自动长出新专家、无人使用的会被剪枝，训练与推理走同一条代码路径。
- 读入即入参：与预训练后冻结权重不同，它读过的内容直接进参数，已读 3.18 亿字符后专家池自动增长到 169 个。
- 抗遗忘：把主干学习率压到专家的十分之一，遗忘幅度从 2.23 nats 降到 0.0067 nats，旧能力基本保留。
作者强调这只是玩具级实验，权重尚未放出，证明的是「单数据流持续学习且不灾难性遗忘」在普通硬件上可行。
所属事件:开发者用 8GB 显存笔记本从零训练 mini-AGI(4 条相关)→
「研究」频道最新
- UC Berkeley 开源 RoboSimStudio：AI Agent 无需训练数据编程工业机器人 — berkeley_ai · 2026-11-12
- LAION 发布 14 亿样本音频语料库，CLAP2-L 登顶 MAEB-30 达 53.6% — serrjoa · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Scale AI 论文：374 次攻击中 36% 成功，模型可在自训练迭代中暗中搞破坏 — Miles_Brundage · 2026-11-12
- 斯坦福 ICML 研究登上 CNBC：AI 智能体团队也会「随大流」 — StanfordAILab · 2026-11-12
- Aaronson-Ambainis 猜想获证明，更强变体一并证毕并附 arXiv — TuhinChakr · 2026-11-12