讯飞星火X2.5全靠万卡国产910B训练,机器有效时长超97%
机器之心 · wechat · 2026-09-11
机器之心深度解析科大讯飞星火X2.5（MoE架构，293B-A30B）如何在万卡国产910B集群上完成预训练与后训练，并披露万卡国产算力的四大工程挑战与解法：
- 算得快：定向优化Attention算子，效率较基础实现提升2倍以上
- 装得下：稀疏注意力+跨层共享索引降低长上下文开销，动态负载均衡的长序列并行使长文本训练效率提升30%以上
- 传得顺：通信压缩、分层通信与计算并行，训练效率再提升10%
- 跑得稳：训前校验、训中卡死自动检测、失败任务自动重提、进程级快速恢复，机器有效训练时长超97%
模型侧通过多教师在线策略蒸馏（MOPD）整合多领域教师优势，强化代码与智能体能力。在DSA稀疏注意力算子优化案例中，星火X2.5通过约1600次工具调用，相比torchnpu实现取得3.5倍加速——模型开始反过来参与NPU底层算子优化，形成「国产算力训练模型→模型优化算子→反哺训练」的反馈循环。团队还在寒武纪MLU590、中科海光BW1000等国产芯片上开展适配。
「Infra」频道最新
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28