腾讯HY3模型128GB Mac本地部署实测
returnity · reddit · 2026-07-11
一位开发者在 128GB 内存的 Mac Studio 上成功部署了腾讯最新开源的 HY3 模型（295B-A21B MoE），并分享了详细的配置过程与性能表现。
- 部署细节：选用了社区提供的 107GB 动态 2-bit 量化版本（UD128）。通过拉取 llama.cpp 特定分支并修改 GGUF 文件中的架构标识符，成功在 Metal 框架下运行。
- 性能表现：在 16K 上下文环境下，预填充速度达 124 tokens/s，生成速度为 16.3 tokens/s。
- 使用体验：实际生成速度相比此前运行 DeepSeek V4 Flash 翻倍，且输出质量相当或更优。初步测试显示其在常规提示和基础工具调用上表现优异。
- 后续计划：作者计划进一步测试多 token 预测（MTP）加速以及更长周期的复杂编码任务。
所属事件:腾讯HY3大模型在128GB Mac成功本地部署(2 条相关)→
「Infra」频道最新
- Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26