旧 MXM GPU 能跑轻量 LLM 吗
Big_black_click · reddit · 2026-07-21
作者在问：旧款 MXM 笔记本 GPU（比如 GTX 980M、Quadro P5000）还能支持哪些轻量级 LLM。
他的目标是买一张至少 8GB 的 MXM 卡做家庭自动化，但发现很多新款 MXM 卡采用专有 DGFF 接口，缺少转接方案和 pinout 资料，基本没法直接用。
帖子里还在问：
- 哪些框架/推理引擎还能支持旧版 CUDA 和老笔记本 GPU
- vLLM 在这种场景下是否可行
- 如何把 Llama 3.2 3B 转成 GGUF，并提到转换脚本和 Meta model card 上的 hash 似乎有问题
整体是一次非常实用的“老消费级 GPU 跑小模型”讨论。
「Infra」频道最新
- NVIDIA 开始交付 102.4 Tbps 的 Spectrum-6 交换机 — nvidia · 2026-07-22
- Reddit：GPU 平台总让你在代码、恢复、计费里选两项 — legendpizzasenpai · 2026-07-22
- 智能体执行环境的安全基石：沙盒化宣言 — spirosoik · 2026-07-22
- Nothing 手机把电影梗做成了模块化设计玩笑 — ZeYanjie · 2026-07-22
- Actual Computer 称其推理栈已适配英伟达消费级 Blackwell — markjeffrey · 2026-07-22
- Ben Bajarin 称市场仍严重低估 CPU 需求 — BenBajarin · 2026-07-22