295B 模型跑进 16GB 显存
antirez · x · 2026-07-10
有人展示了把腾讯 Hy3 这个 295B 参数 MoE 模型跑在单张 RTX 4060 Ti 16GB 显卡上的方法。实现方式是通过 NeutronStar（基于作者的 CUDA 分支 ds4）保留注意力层和共享专家在显存中，并在每个 token 按需从 SSD 流式加载路由专家，从而让超大模型在约 400 美元的显卡上实现交互式聊天。 帖子还提到为此新增了 GQA attention 路径，并做了 ds4 原生的 2-bit GGUF，速度大约 1.8 tok/s。作者同时给出模型权重链接。