Strata DualGPU:双 NVIDIA 显卡+32GB 内存,解码提速 5.6 倍
GabGarrett · x · 2026-10-28
开源项目 Strata DualGPU 让两块不同的 NVIDIA GPU 在仅 32GB 内存的 PC 上协同推理。开发者在 RTX 5080 + RTX 4060 Ti 上实测 Qwen3.8 Flash Next(1.5 IQ2XS,256K 上下文):代码解码从单卡 29 tok/s 提升到 143 tok/s,微调草稿层后达 161 tok/s,相比单卡提升 5.6 倍;32K prompt 处理从 333 提升到约 1900 tok/s。
核心做法是层切分时把专家权重保留在 RAM 中,通过流水线窗口让两卡同时工作而非一卡闲置,并支持自适应 VRAM/RAM 专家交换与自动 GPU 排序。项目已开源在 GitHub(Hardin22/Strata-DualGPU),适合本地大模型玩家参考。
「Infra」频道最新
- 统计无损 Qwen3.8 27B 量化 GGUF 发布,23GB 接近 FP8 体验 — Dany0 · 2026-10-28
- 数据中心拟占湿地，塞内卡族发声：社区不需要数据中心 — AINowInstitute · 2026-10-28
- Kimi K3.1 有望采用类 DeepSeek V3.2 的 DSA 架构改善成本 — zephyr_z9 · 2026-10-28
- VLM Run Gateway 发布：一个 API 统一运行开源 OCR、VLM 与视觉模型，直指服务商量化坑 — spillai · 2026-10-28
- 超大规模云厂商年内发债 2284 亿美元，已是 2024 全年的近 14 倍 — Beth_Kindig · 2026-10-28
- Bittensor 子网开始产生真实收入，Targon 一次性回购销毁约 214 万美元代币 — markjeffrey · 2026-10-28