poolside 讲解合成数据与严检如何训练 118B 代码模型
AI Engineer · youtube · 2026-07-25
poolside 用合成数据做代码预训练，做到了 118B 规模
Marah Abdin 和 Robert McHardy 介绍了 poolside 的代码数据与预训练流程：当高质量人类代码不够用后，团队开始大量合成数据，但重点不是“生成更多”，而是让样本足够难、足够像真实任务，真正能教会模型。
- 他们用模板加上下文生成代码样本，再通过改写措辞、调整难度，扩大任务分布但避免变成无脑题。
- 现有数据还会被多阶段改造成新形态，比如换角色/改剧情、把单轮提示扩成多轮对话。
- 每一条生成都会经过 orchestrator 审核，不符合目标的样本直接丢弃。
- 训练侧则是“零信任”：同一数据上跑两个副本，数值不一致就直接终止训练。
- 这种严格策略帮助他们发现了多种大规模故障，包括坏 GPU、张量并行里的精度问题，以及由竞态条件引起、但不会立刻报错的梯度污染。
- 团队称，这套 recipe 在扩展后依然稳定，最终训练出一个 118B 参数、面向 agentic coding 的模型，早期结果已经能压过 GLM 4.5 Air。
「编程与Agent」频道最新
- 安全专家：让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流：设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search：让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26