5 张显卡也带不动：实测本地运行 Qwen 2.4T 量化版
klicker0 · reddit · 2026-08-14
一位硬核网友尝试在本地运行参数量高达 2.4T 的 Qwen3.8 模型（UD-Q10 极限量化版，体积 397GB）。
- 硬件配置：双 RTX 5090 + 三 RTX 3090，外加 96GB 系统内存。即便如此，模型的总显存+内存需求仍超出现有容量的两倍。
- 运行表现：生成速度仅为 0.25 tokens/sec（生成 178 个 token 耗时 11 分 38 秒）。
- 结论：这种级别的速度完全不具备实用性，即使放任其整夜运行也难以完成任务。虽然超大规模模型开放权重是好事，但目前消费级硬件依然无法在本地有效跑起 2.4T 模型。
所属事件:硬核实测多平台跑通2.4T参数Qwen模型(3 条相关)→
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16