智谱首席科学家唐杰清华披露 GLM-5.5 训练管线:32B/122B/256B 三档
algo_diver · x · 2026-11-05
智谱首席科学家唐杰在清华大学讲座中披露了即将发布的 GLM-5.5(32B/122B/256B 三个规格)的预训练管线：不依赖公开数据集，而是由六个内部数据引擎支撑——
- 网页：1 万亿页面，爬取速度约 100 亿页/天，熵评分链接发现、PB 级模板聚类、house 解析器
- 文档：20 亿份科学 PDF,经 GLM-OCR 解析，配合 speculative decoding 提速 4 倍
- 书籍：5000 万本，含版面重排与乱码文本过滤
- 代码：5 亿个仓库，转化为带真实测试和 issue 描述的可执行任务
- 视频：100 亿条视频，用于长序列世界知识
- 音频：3 亿小时，经 ASR 重写为数万亿 token
讲座强调每个数据源都有独特的规模化问题：爬取、过滤、去重、质量；并展示了 scaling effective tokens 的数据 scaling 律 L(N,D)。
「模型」频道最新
- 刘理程暗示新模型在研，网友期待阶跃 Step 5 正式版实力 — teortaxesTex · 2026-11-05
- Thinking Machines 拒公开 SWE-2 Flash 权重:ExploitBench 涨至 34.8% 引安全顾虑 — QGallouedec · 2026-11-05
- 改一个没人调的设置，RAG 准确率从 100% 掉到 33% — dima806_dima · 2026-11-05
- KOL 点赞 DeepSeek 评测框架:这次是真下功夫了 — mariofilhoml · 2026-11-05
- Lebrel 开启早期测试：无审查前沿模型+链上签名可验证推理 — HeyAmit_ · 2026-11-05
- 开源 4B 决策模型实测：Mac mini 上单次前向约 11 次决策/秒 — const_reborn · 2026-11-05