中国电信 Xing4.0-29B 登陆 llama.cpp:全系昇腾 NPU 训练,256K 上下文
jacek2023 · reddit · 2026-11-06
llama.cpp 收到 PR #31589,为中国电信 AI 公司的 Xing4.0-29B-A4B(星系列,前身为 TeleChat)添加支持。该模型总参数 29B、每 token 仅激活 4B,原生支持 256K 上下文、可扩展至 512K,官方称是首个完全在昇腾 NPU 上用 MindSpore 框架训练的这一规模模型。
要点:
- 架构:mHC + MLA + MTP,面向 Agent 场景,支持多步规划、工具调用与长上下文下的复杂推理链执行
- 昇腾深度协同:适配 910C 集群,通过细粒度 MoE 通信优化、选择性重计算、DVM 自动图算子融合、昇腾 C mHC 融合算子等,训练吞吐较开箱性能提升约 96%
- 生态兼容:支持 LLaMA-Factory/MindFormers 微调,SGLang/vLLM/KTransformers 推理,并适配 OpenCode、Claude Code 等 agent 框架
- 定位:适合意图分类、表格理解、合同审核等垂直领域轻量微调
这是国产算力栈端到端训练开源大模型的代表性案例。
「Infra」频道最新
- 数据中心禁令如关税：选民要态度不要后果，单项目可令地方税收翻倍 — carlosdponx · 2026-11-06
- 数据中心该不该自建电源？ 业内热议离网燃气轮机弊端 — aronchick · 2026-11-06
- DeepSeek V4.1 Flash 在 Isoquant 跑出 600+ tok/s,10 秒写完俄罗斯方块 — ycombinator · 2026-11-06
- 冰岛网友喊话马斯克:钻井取电建数据中心,还不受欧盟管辖 — djcows · 2026-11-06
- NVIDIA Vera CPU 实测：每瓦多跑 1.6 倍 Agent，比最快 x86 更快 — NVIDIA Blog · 2026-11-06
- 谷歌宣布在怀俄明州投 170 亿美元建大型 AI 数据中心 — Polymarket · 2026-11-06