Hunyuan-A13B Technical Report
Tencent Hunyuan Team, Ao Liu, Botong Zhou, Can Xu, Chayse Zhou, ChenChen Zhang, Chengcheng Xu, Chenhao Wang, Decheng Wu, Dengpeng Wu, Dian Jiao, Dong Du, Dong Wang, Feng Zhang, Fengzong Lian, Guanghui Xu, Guanwei Zhang, Hai Wang, Haipeng Luo, Han Hu, Huilin Xu, Jiajia Wu, Jianchen Zhu, Jianfeng Yan, Jiaqi Zhu, Jihong Zhang, Jinbao Xue, Jun Xia, Junqiang Zheng, Kai Liu, Kai Zhang, Kai Zheng, Kejiao Li, Keyao Wang, Lan Jiang, Lixin Liu, Lulu Wu, Mengyuan Huang, Peijie Yu, Peiqi Wang, Qian Wang, Qianbiao Xiang, Qibin Liu, Qingfeng Sun, Richard Guo, Ruobing Xie, Saiyong Yang, Shaohua Chen, Shihui Hu, Shuai Li, Shuaipeng Li, Shuang Chen, Suncong Zheng, Tao Yang, Tian Zhang, Tinghao Yu, Weidong Han, Weijie Liu, Weijin Zhou, Weikang Wang, Wesleye Chen, Xiao Feng, Xiaoqin Ren, Xingwu Sun, Xiong Kuang, Xuemeng Huang, Xun Cao, Yanfeng Chen, Yang Du, Zhen Yang, Yangyu Tao, Yaping Deng, Yi Shen, Yigeng Hong, Yiqi Chen
cs.AI
2026-09-23
混元A13B是总参数80B、激活13B的开源MoE，预训练超过20T token，并支持256K长上下文与快慢两种思考。慢思考AIME2024达到87.3%，工具调用BFCL v3为78.3%，LiveCodeBench为63.9%。
能打竞赛数学和写代码的大模型，推理时往往要把几十亿、上百亿参数全部激活，延迟和卡数把本地部署挡在门外。稠密 72B 和更大的 MoE 都贵。Hunyuan-A13B 走稀疏 MoE：总参数 80B，每次只激活 13B，目标是在可部署的激活量上尽量接近更大模型的推理和工具能力。
结构是细粒度 MoE：1 个始终激活的共享专家，加 64 个同等宽度的非共享专家，每次再激活 8 个。32 层，隐藏维 4096，FFN 中间维 3072，注意力 32 头、GQA 8 个 KV 头，词表 128K，激活函数 SwiGLU。团队在缩放实验里发现，没有共享专家会掉点，共享专家超过一个收益很快变平，所以只留一个。
预训练沿用混元 TurboS 的清洗流水线，并加强 STEM 采集，抽出约 2500 亿 token 高质量 STEM 语料，总盘超过 20T。三阶段：4096 上下文上打完 20T（学习率 3e-4 余弦到 3e-5）；300B token 快退火，上下文 8192，学习率落到 8e-6；再用 NTK-aware 位置编码把窗口扩到 32K 再 256K。
后训练分两段。推理向 SFT 覆盖数学、代码、逻辑、科学，答案要过生成式奖励模型和沙箱；推理向 RL 用 GRPO，数学/逻辑/科学吃结果对齐的二元奖励，代码走支持 36 种语言的沙箱，150K 条，上下文从 24K 扩到 32K，并拿掉 KL 约束。全场景段再铺写作、多轮、指令、角色、安全和工具，RL 用生成式奖励模型加十多路领域奖励服务。
双模式思维链：快思考把 <think> 留空，慢思考写入逐步推理。用户用 /nothink 或 /think 切换，缺省慢思考。两种模式在同一套格式里一起训。
基座对比 Hunyuan-Large（激活 52B / 总 389B）、Qwen2.5-72B 和 Qwen3-235B-A22B。MMLU 88.17，对 Hunyuan-Large 的 88.40 和 Qwen3-A22B 的 87.81。MATH 72.35，高于 Qwen3-A22B 的 71.84。GPQA 49.12，高于 Qwen3-A22B 的 47.47。EvalPlus 78.64，MBPP 83.86。14 项里有 12 项超过自家更大的 Hunyuan-Large，激活量大约是四分之一。
慢思考后训练对比 OpenAI-o1-1217、DeepSeek-R1-0120、Qwen3-A22B：
| 任务 | Hunyuan-A13B | Qwen3-A22B | DeepSeek-R1 |
| AIME2024 | 87.3 | 85.7 | 79.8 |
| AIME2025 | 76.8 | 81.5 | 70 |
| GPQA-Diamond | 71.2 | 71.1 | 71.5 |
| LiveCodeBench | 63.9 | 70.7 | 65.9 |
| BFCL v3 | 78.3 | 70.8 | 56.9 |
| ComplexFuncBench | 61.2 | 40.6 | 41.1 |
工具调用四项都高于对照。快思考 AIME2024 只有 30.6，对照慢思考的 87.3，模式差距很大。长上下文：PenguinScrolls 87.7，LongBench-v2 55.0（第二，Gemini 2.5 Pro 为 60.9），FRAMES 81.1 低于 DeepSeek-R1 的 85.7。RULER QA 平均 76.7，64K–128K 仍有 73.9，高于 R1 的 65.6。A16W16C16、batch 32、输入 2048 输出 14336 时吞吐 1981.99 token/s。
这是一份可复现的开源 MoE 技术报告：激活 13B、上下文 256K、快慢思考可切换，agent 基准上的工具调用是相对强项。对要在单机或小集群上跑「能思考、能调工具」的人，数字表明 13B 激活可以接近更大 MoE 的数学和科学，不必上 22B 激活。LiveCodeBench 仍落后 Qwen3-A22B 约 6.8 个百分点，编码不是卖点。报告写于模型开源之后，方法描述完整，消融和失败分析偏薄。
没有独立的局限节。LiveCodeBench 慢思考 63.9，低于 Qwen3-A22B 的 70.7；FRAMES 的 RAG 长文也不如 R1。快慢模式靠控制标签，缺省慢思考，延迟敏感场景必须显式关掉思考。STEM 加强和 20T 清洗细节不可复现。全场景 RL 堆了十几路奖励服务，报告没有说明各路权重如何避免互相抢。内部基准 LengthCtrl、InsCtrl、ComplexNLU、Word-Task 无法外部核对。吞吐只给了一种精度和长度组合。