中国电信星辰 Xing4 发布:285B 模型全程在 8192 张昇腾 910C 上预训练

XingChen-AGI · hf · 2026-11-18

中国电信星辰 AGI 实验室发布技术报告,介绍 TeleChat 系列的延伸——Xing 4 大模型系列,核心亮点是全流程基于国产昇腾芯片与 MindSpore 框架训练。

架构设计:结合 MLA 与 DSA、跨层 IndexShare 支持长上下文;采用更宽更浅的 MoE 拓扑;用块级 draft 模型加轻量纠正头做投机解码。已开源一个 29B MoE 成员(每 token 仅激活 4B 参数,原生支持 256K 上下文),完全在昇腾 NPU 上用 MindSpore 训练。

预训练基建:基于 MindSpore HyperParallel,采用拓扑感知混合分片、高效分布式优化器、CPU 亲和性与核隔离等手段,支撑 285B 参数模型在 8192 张昇腾 910C 卡上的预训练。

后训练:推出 TeleGym 统一 agent 执行平台,连接执行、评测与轨迹构建到策略优化,采用异步分离执行、有界过采样与部分 rollout 处理异构任务时长。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →