220B 腾讯模型跑进单张 3090:262K 上下文 + 视觉,4 卡 251 tok/s

QuixiAI · x · 2026-11-20

开发者 superalesha 基于 Project Maya 构建了 maya-hy4f 推理引擎,让腾讯 220B MoE 模型 Hy4-flash(每层 512 专家、激活 16 个,支持 262K 上下文与视觉输入)能在家用硬件上完整运行,并已提供去审查版本。

关键设计是不剪枝:单双卡与四卡的输出一致性达到两次四卡运行互相之间的一致性水平。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →