智谱首席科学家晒 GLM 数据路线图:GLM-5 用 28.5T tokens,目标 100T
rickasaurus · x · 2026-11-06
智谱首席科学家唐杰在演讲中披露 GLM 系列各代预训练 token 规模与数据策略：
- GLM-130B (2022)：0.4T tokens（约 200B 中文 + 200B 英文）
- GLM-4 (2024)：15T tokens，26 种语言，精确+模糊去重
- GLM-4.5 (2025)：23T tokens，质量分桶（优质数据 >3.2 epochs），mid-training 引入 repo 代码与 agent 数据
- GLM-5 (2026)：28.5T tokens，unique 代码 +28%，上下文扩至 200K
- 下一代目标：100T 原生清洗后的公开文本 tokens（不含合成数据）
由于标准开源网页解析器能提取的高质量公开文本不足 30T tokens，智谱自研了内部 HTML/WARC 提取器 haruka-parser，比原始网页档案多回收 50% 总 tokens 和 150% 高质量 tokens。训练集每年约增长 2.4 倍，小模型逻辑是「数据 >> 算力预算，选最好的 10%」，万亿级模型则是「预算 >> 数据，最大化高质量有效 tokens」。
所属事件:智谱唐杰披露 GLM-5.5 训练管线与数据路线图(4 条相关)→
「模型」频道最新
- 品酒师先于卡车司机被替代？Inkling 2 视觉鉴酒 20 次对 19 — simonguozirui · 2026-11-06
- Inkling 2 Small 登顶 Design Arena 开源权重榜首，输出价比 Kimi K3 便宜 15 倍 — ycombinator · 2026-11-06
- Thinking Machines v2 小模型发布:GB300 预训练仅 68 小时 — SonglinYang4 · 2026-11-06
- Artificial Analysis 公布 Inkling 2 Small 智能指数 v5.0.1 全成绩 — ArtificialAnlys · 2026-11-06
- Thinking Machines 发布 Inkling 2 Small：智能指数 31 分，将成中国外最强开源权重模型 — ArtificialAnlys · 2026-11-06
- 10 小时 GPU 内核优化基准:GPT-6 Astra 63 分领跑,Kimi K3.1 Pro 紧随 — soumithchintala · 2026-11-06