MiniMind:64M 参数小模型,2 小时、约 3 元成本从零训练 LLM

dr_cintas · x · 2026-11-20

开源项目 MiniMind 让任何人用单张消费级 GPU(如 RTX 3090)从零训练一个 64M 参数的语言模型——仅为 GPT-3 的 1/2700 大小,训练约 2 小时、成本约人民币 3 元。

完整训练管线全部覆盖:

所有核心算法用原生 PyTorch 实现,不依赖高层库隐藏关键细节;另有视觉版 MiniMind-V、多模态 Omni 版、扩散语言模型 MiniMind-dLM 和线性注意力版。GitHub 85k star,曾登顶 GitHub Trending。适合只用过 API 的开发者理解 LLM 底层原理。

所属事件:开源 MiniMind:3 元、2 小时从零训练 64M 参数 LLM(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →