腾讯 Hy4 Flash 单台 DGX Spark 实测 45.5 tok/s,双 Mac 达 137
AIFlow_ML · x · 2026-11-20
AIFlow 汇总了 11 月 19-20 日多位测试者对腾讯混元 Hy4 Flash(约 220B 参数、12B 激活,支持文本与图像)的本地部署实测数据:
- 单台 DGX Spark:JRB 用 drafter 跑出单用户 45.5 tok/s(对比 Ripple 65B 的 26.5),8 用户总吞吐 124.2 tok/s;其 75 项推理评测得分 76%,与 Ripple 77% 相当但每题 token 消耗约一半(11.7K vs 22.6K)。
- 腾讯官方 4-bit Spark 版:Damien Rufus 测得 75 项高难推理任务 92%,高于三台 Spark 跑 DeepSeek V4.1 Flash 的 91% 和 GLM-5.3 Flash 的 89%;速度代码 36 tok/s、散文 25-27 tok/s。
- Mac 平台:GLM-5.3 Flash 在两台 M5 Ultra 512GB 经 TB5 线连接、开 drafter 时单用户达 137 tok/s,关闭 drafter 105,单台 89.5;两台 Mac 32 用户总吞吐约 260 tok/s,30 分钟压测零错误。
数据标注区分了实测(MEASURED-BY-SOURCE)、厂商宣称(VENDOR-CLAIM)与估算,未复跑。
所属事件:腾讯混元 Hy4 Flash 本地实测:速度与百万 token 加载表现披露(2 条相关)→
「Infra」频道最新
- 实测称 AMD ROCm 10.2 让 Qwen3.8-27B 推理吞吐达 2.2 倍 — AnushElangovan · 2026-11-21
- OpenVINO:在 Intel CPU/GPU/NPU 上免 GPU 跑 AI 的开源工具包 — abhishek__AI · 2026-11-21
- AWS Lambda 现已支持 GPU,可在 Serverless 函数里托管模型 — samgoodwin89 · 2026-11-21
- 2.7万思考token零回答:谷歌Vertex AI以HTTP 200自动扣费23次空崩溃 — Plenty-Jackfruit-218 · 2026-11-21
- Hy4 Flash 读 100 万 token:Mac Studio 44 分钟,DGX Spark 81 分钟 — AIFlow_ML · 2026-11-21
- local-ai-registry:每块 GPU 一份实测验证过的本地模型运行配方 — LiTianleli · 2026-11-21