MiniMind:64M 参数小模型,2 小时、约 3 元成本从零训练 LLM
dr_cintas · x · 2026-11-20
开源项目 MiniMind 让任何人用单张消费级 GPU(如 RTX 3090)从零训练一个 64M 参数的语言模型——仅为 GPT-3 的 1/2700 大小,训练约 2 小时、成本约人民币 3 元。
完整训练管线全部覆盖:
- 数据清洗与预训练
- 监督微调(SFT)与 LoRA
- 偏好训练 DPO
- 强化学习 PPO、GRPO
- 工具调用与 Agentic RL
- 模型蒸馏
所有核心算法用原生 PyTorch 实现,不依赖高层库隐藏关键细节;另有视觉版 MiniMind-V、多模态 Omni 版、扩散语言模型 MiniMind-dLM 和线性注意力版。GitHub 85k star,曾登顶 GitHub Trending。适合只用过 API 的开发者理解 LLM 底层原理。
所属事件:开源 MiniMind:3 元、2 小时从零训练 64M 参数 LLM(2 条相关)→
「研究」频道最新
- 杜一论等发布能量模型教程:统一视角串起扩散、强化学习与推理 — burny_tech · 2026-11-20
- 一周 1900 篇 AI for Science 论文:测试误差小不等于模型对了 — bravo_abad · 2026-11-20
- Mech interp 的未来:从电路中抽象出可学习的算法 — burny_tech · 2026-11-20
- MBZUAI 发布 PAN 2 世界模型:29B 参数,连训练代码一并开源 — ZhitingHu · 2026-11-20
- LLM 中发现可迁移的「目标编码」:Python 计划植入 C++ 照样执行 — paul_cal · 2026-11-20
- 独立研究者把 Qwen3.5-0.8B 内部 360 个组件画成生态地图, damaged 修复 6/6 — suayptalha · 2026-11-20