智谱首席科学家清华演讲披露 GLM-5.5 训练管线:三个尺寸、六大内部数据引擎
AccBalanced · x · 2026-11-06
唐杰在清华大学讲座中透露了即将发布的 GLM-5.5(32B、122B、256B 三个尺寸)的训练管线。预训练不依赖公开数据集,而是来自六个内部数据引擎:
- 网页:1 万亿页面,爬取速度约 100 亿页/天,PB 级模板聚类
- 文档:20 亿科学 PDF,经 GLM-OCR 解析(投机解码提速 4 倍)
- 书籍:5000 万本书,含版面重排与乱码过滤
- 代码:5 亿仓库转为带真实测试与 issue 描述的可执行任务
- 视频:100 亿条视频用于长序列训练(转帖截断)
转帖以 Primeagen 的调侃包装(Dario 称「我们有德,窃取了互联网」/中国「真的偷了互联网」),但实质信息是这条自建数据管线细节。
所属事件:智谱唐杰披露 GLM-5.5 训练管线与数据路线图(4 条相关)→
「模型」频道最新
- AA 评测：FLUX 3 全系 19 项文生图类别全面超越 FLUX.2，Klein 逼近开源第一 — ArtificialAnlys · 2026-11-06
- Anthropic 首席架构师开号:暗示即将公布内部加速报告,或触发 RSP 2x 阈值 — inductionheads · 2026-11-06
- 6,662 次决策实测:专用决策模型 Mammoth-1 均分 80.9%,反超最强小 LLM 约 3 分 — pournasserian · 2026-11-06
- Hesamation：OpenAI 模型更会玩游戏，但仅限某些类型 — Hesamation · 2026-11-06
- 曝 Meta 内部代号 walrus 新 checkpoint 质量接近 crouton-alpha — ChrisGPT · 2026-11-06
- giffmana 实测：Gemini 3.1 Pro 权重内知道答案，Flash 却不知道 — giffmana · 2026-11-06