295B 模型跑进 16GB 显存
antirez · x · 2026-07-10
有人展示了把腾讯 Hy3 这个 295B 参数 MoE 模型跑在单张 RTX 4060 Ti 16GB 显卡上的方法。实现方式是通过 NeutronStar（基于作者的 CUDA 分支 ds4）保留注意力层和共享专家在显存中，并在每个 token 按需从 SSD 流式加载路由专家，从而让超大模型在约 400 美元的显卡上实现交互式聊天。
帖子还提到为此新增了 GQA attention 路径，并做了 ds4 原生的 2-bit GGUF，速度大约 1.8 tok/s。作者同时给出模型权重链接。
「Infra」频道最新
- Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26