8GB 显卡从零训一个月:mini-AGI 持续学习模型跑分超 GPT-2

Another__one · reddit · 2026-10-24

独立开发者发布 mini-AGI 项目:一个支持动态持续学习的模型,在 8GB 显存 GPU 上从零训练一个月(仅 2.8GB 数据、约 56 美元成本,1.26B 参数)。enwik9 评测中,动态评估(frozen)得 1.23 bits/byte,best effort 模式 1.14,冻结权重也有 1.29——训练中「边读边学」的能力让小模型逼近 GPT-2 Medium(1.17),远超 GPT-2 Small(1.33),而大模型无法在评测中动态特化。代码与权重已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →