7 名博士生一个暑假从零训出 7B 模型，靠几百个 Agent 分工
量子位 · wechat · 2026-09-14
北京中关村学院 7 名博士生用一个暑假从零训练出 7B 大模型 ZGCM-1，并开源了各阶段训练数据、配方、代码、中间 checkpoint 和日志。在 14 项推理评测中，ZGCM-1 领先同规模模型，部分数学推理与搜索任务可媲美 Qwen3-235B-A22B 等更大模型。
- 几百个 Agent 团队：人手不足，团队自建几百个 Agent 分管数据清洗、实验监控、故障定位与评测，并用自研 ZGent 平台沉淀会议决策、脚本与 debug 经验为可复用 Skill。研究者负责目标、约束与关键判断。
- AI 自主性评级：按 L1-L5 对 11 类研发任务评级——实验监控与部署达 L4，模型架构与学习算法设计仅 L2。
- 踩坑与工程发现：曾出现 loss 正常下降但模型能力退步，根因是数据分片与 shuffle 比例波动；随后建立 ACE 原子能力评测体系（18 类、183 项、2503 个探针）。SFT 更严格的质量筛选使样本减少约 44.9% 反而提升整体表现；长思维链数据比例过高损害指令遵循。
- 效率方案：局部+全局混合注意力，上下文 16K 逐步扩至 256K，256K 下吞吐较全注意力提升约 3.94 倍，KVCache 降至约 1/6；结合 Muon 与 FP8，16K 预训练达到同 loss 效率较 BF16/AdamW 基线提升约 4.2 倍。
团队已开始尝试 400B、500B 规模模型，并继续记录分享过程。
所属事件:7 名博士生暑期从零训出开源 7B 模型 ZGCM-1(3 条相关)→
「编程与Agent」频道最新
- GitHub Actions 还有 ubuntu-slim:1 核 5GB 的省钱 CI 跑道 — DanielLockyer · 2026-11-02
- 自动化前先问：有人真正看懂整条业务流程吗 — djgoel123 · 2026-11-02
- 一个过期日期让 WhatsApp 回复 agent 静默罢工两天,19 条消息无人应答 — petrusenko_max · 2026-11-02
- 10倍工程师就是一个 SKILLS.md:六大工作流规则全公开 — mdancho84 · 2026-11-02
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02