中国电信星辰 Xing4 发布:285B 模型全程在 8192 张昇腾 910C 上预训练
XingChen-AGI · hf · 2026-11-18
中国电信星辰 AGI 实验室发布技术报告,介绍 TeleChat 系列的延伸——Xing 4 大模型系列,核心亮点是全流程基于国产昇腾芯片与 MindSpore 框架训练。
架构设计:结合 MLA 与 DSA、跨层 IndexShare 支持长上下文;采用更宽更浅的 MoE 拓扑;用块级 draft 模型加轻量纠正头做投机解码。已开源一个 29B MoE 成员(每 token 仅激活 4B 参数,原生支持 256K 上下文),完全在昇腾 NPU 上用 MindSpore 训练。
预训练基建:基于 MindSpore HyperParallel,采用拓扑感知混合分片、高效分布式优化器、CPU 亲和性与核隔离等手段,支撑 285B 参数模型在 8192 张昇腾 910C 卡上的预训练。
后训练:推出 TeleGym 统一 agent 执行平台,连接执行、评测与轨迹构建到策略优化,采用异步分离执行、有界过采样与部分 rollout 处理异构任务时长。
「Infra」频道最新
- Stratechery:英伟达财报无聊却是宣言,微软与 Anthropic 对打 AI OS — Stratechery · 2026-11-18
- Codeberg 整站失联,域名消失配置异常 — jedisct1 · 2026-11-18
- 除微软外超大规模厂商 FCF 全转负,AI 资本开支见顶信号 — marlene_zw · 2026-11-18
- Codeberg 域名离奇从注册商账户消失,网站陷入 clientHold 状态 — kingslyj · 2026-11-18
- 拇指大小的 Tokkey 硬件登场:让旧 Mac 本地跑大模型 — TejasKumar_ · 2026-11-18
- Hugging Face 推理服务今晨更新,TTFT 提速 1.5 倍 — osanseviero · 2026-11-18