220B 腾讯模型跑进单张 3090:262K 上下文 + 视觉,4 卡 251 tok/s
QuixiAI · x · 2026-11-20
开发者 superalesha 基于 Project Maya 构建了 maya-hy4f 推理引擎,让腾讯 220B MoE 模型 Hy4-flash(每层 512 专家、激活 16 个,支持 262K 上下文与视觉输入)能在家用硬件上完整运行,并已提供去审查版本。
- 1x RTX 3090 + 64GB RAM:热专家驻留 VRAM、其余专家由 CPU 从 RAM/NVMe 计算,IQ2 + NVMe 时 45GiB 内存即可,54-68 tok/s 解码
- 2x 3090:70-123 tok/s
- 4x 3090(权重全进 VRAM):176-251 tok/s,50K token 真实编码 agent 会话平均 223 tok/s,262K 上下文附近仍达 159-197 tok/s
- Q3K 量化据称基本无损;1920x1080 图像视觉编码仅需 0.7-0.8s
关键设计是不剪枝:单双卡与四卡的输出一致性达到两次四卡运行互相之间的一致性水平。
「Infra」频道最新
- Transformers PR 用 SSD 流式加载 MoE 专家,32GB Mac 跑 180B 模型 — jomic01 · 2026-11-20
- IREN 年内大跌之谜:150亿美元资本开支撞上融资缺口 — tengyanAI · 2026-11-20
- Anthropic 三天在 AMD MI355X 上跑通 Claude prefill,CUDA 优势受质疑 — AccBalanced · 2026-11-20
- 客户月省 90%:GitHub Actions 上 20 分钟任务在 Celesto 只跑 7 分钟 — aniketmaurya · 2026-11-20
- OpenSSL 曝 CVSS 9.8 缓冲区溢出漏洞,EVP_EncodeBlock 受影响 — JacobHenner · 2026-11-20
- Anthropic 估值 2 万亿美元遭质疑:前 9 个月净亏损 1040 亿 — deliprao · 2026-11-20