开源 MiniMind:2 小时、约 3 元成本从零训练 64M 参数 LLM
udmrzn · x · 2026-11-18
转推介绍开源项目 MiniMind:用纯 PyTorch 从零训练约 64M 参数的超小语言模型,只需约人民币 3 元成本、2 小时训练时间,单张消费级 GPU 即可完成。
- 项目提供极简模型架构和端到端 LLM 训练管线:数据清洗、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO 等强化学习、Tool Use、Agentic RL 与模型蒸馏,全部原生 PyTorch 实现,不依赖第三方高层封装
- 主分支最小模型约为 GPT-3 规模的 1/2700,个人 GPU 可完整复现
- 已扩展出视觉模型 MiniMind-V、多模态 Omni 模型 MiniMind-O、扩散语言模型 MiniMind-dLM 和线性注意力版本
- GitHub 66k stars,曾登顶 GitHub Trending,既是完整训练管线复现,也是 LLM 原理实操教程
「编程与Agent」频道最新
- 一个月 27 个 vibe coding 版 Finder,多数已死或停更 — KaKi_87 · 2026-11-18
- Hugging Face 用 RL+LoRA 适配 Qwen 给 pi 编码 agent,SWE-bench Pro Hard 从 29.4% 升至 62.7% — art_zucker · 2026-11-18
- Forrest PKnight 排名各编程语言:看 AI 写哪种代码最顺手 — Dan_Jeffries1 · 2026-11-18
- 用 Claude 加 Unreal Engine 5.9 MCP,一天做出游戏续作原型 — TomLikesRobots · 2026-11-18
- 开源 guardrail-middleware:纯确定性检查点拦截失控的 Agent 工具调用 — MidnightHeavy3064 · 2026-11-18
- 最离不开的 Agent 最无聊:每天自动整理下载文件夹的发票与收据 — Winterocean812 · 2026-11-18