笔记本上跑「mini-AGI」:循环 Transformer+进化生长专家,权重数周后开源
returnity · reddit · 2026-09-23
Reddit 用户 returnity 分享了一个名为 mini-AGI 的持续学习、动态循环 Transformer 项目,称其可在笔记本上训练,设计选择颇为激进:
- 循环 Transformer:按 token 动态决定递归深度,最多 24 轮循环
- 自监督学习,无分词器,直接读取原始字节
- MoE 架构:8 个激活专家、32 个路由专家驻留显存,另对 96 个专家智能缓存
- 权重存 SSD 按需分页换入
- 动态扩容:按需新建专家并增加参数量
- 进化式生长:试验新生成的专家,无用的被剪枝
- 通过慢速主干/快速专家的学习率拆分防止灾难性遗忘
作者称权重将在训练进度达到约 GPT-2 水平时(「几周内」)发布,目前趋势线已连续 15 倍成立,但也承认可能在某处弯曲。
所属事件:开发者用 8GB 显存笔记本从零训练 5.3 亿参数持续学习模型(4 条相关)→
「Infra」频道最新
- friend.cpp:实验性本地LLM引擎集成蓝噪声采样 — amplifiedamp · 2026-09-23
- ASML高管：欧洲不建芯片厂，一台光刻机都卖不出去 — 2C_ornot2C · 2026-09-23
- Qwen Image 2.1 Fast FP8 版实测：不到 10GB 出高质量图 — 108er · 2026-09-23
- 去中心化推理平台 Chutes 换帅,公开展示 8B MoE 预训练全程 — markjeffrey · 2026-09-23
- 后训练框架 Halo 宣称吞吐达 TRL 2.8 倍，遭质疑选择性跑分 — _ScottCondron · 2026-09-23
- OpenAI 工程师详解 GPT-Live 实时语音系统如何构建 — juberti · 2026-09-23