Strix Halo 外接 dGPU 实测:低上下文跑分有水分
Hrethric · reddit · 2026-08-25
作者在 Strix Halo 机器上通过 Oculink 接入 R9700 dGPU,实测 Unsloth 量化版 MiniMax M-2.7 后发现:dGPU 上 Q4KXL 反而比 APU 单跑 IQ4XS 更慢,调优数小时后才让 IQ4XS 达到与 APU 单跑相同的生成速度,仅换来 2-3 倍 prompt 处理提升和少量上下文增加。
作者指出,很多展示 dGPU 加速的基准都是在低上下文下跑的,实际存在调优权衡:在 dGPU 放更多层就要牺牲上下文大小或质量,反之保留高量化/未量化上下文则 dGPU 承载的层数更少。帖中附完整 Docker 启动命令与 models.ini 配置(tensor-split、cache-type、batch-size 等参数),供同样想在本机跑大模型的用户参考。
「Infra」频道最新
- Fluidstack 高优招聘模块化研发电气工程师,自建 AI 基础设施前沿 — MxMnr · 2026-10-16
- 黄仁勋做客 BG2 播客:谈 AI 收入能否撑起 Capex 与 2027 瓶颈 — elonmusk · 2026-10-16
- Mistral 本地推理基建机架曝光:DGX Spark、Mac Studio 等混搭 — gregmushen · 2026-10-16
- 英伟达携手瑞典 Wallenberg,Launch 共享 AI 超算 Sferical One — nvidia · 2026-10-16
- 基础设施下一站:能自我进化、自我验证的自适应系统 — _shreya_s · 2026-10-16
- 小米 MiMo RL 训练曝光:30 步花掉 347 万美元 — bycloud · 2026-10-16