64GB 内存 iGPU 迷你主机能否跑 Qwen Flash?社区探索端侧部署
SomeITGuyLA · reddit · 2026-10-03
一位 IT 从业者探讨在非 Mac 的 64GB 统一内存迷你主机(iGPU 为 780M)上运行 Qwen Flash Next 的可行性。社区已有人用 12GB VRAM + 64GB 内存跑起来,Mac 统一内存方案也已验证。作者目前用 llama.cpp(vulkan)以 Q2 量化跑 125B Ling 3.0 Flash,尚可用;他设想把 Qwen Flash Next 的 ngrams 卸载到 SSD 以低速率运行,但 llama.cpp 目前不支持此做法,其他推理引擎也基本不兼容 vulkan。
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19