实测 Qwen 3.8：3080Ti + Strix Halo 跑通 1M 上下文
TrifleHopeful5418 · reddit · 2026-08-18
作者分享了在 AMD Strix Halo (128GB) + 外接 3080Ti (12GB) 环境下运行 Qwen 3.8 的性能数据：
- 262K 上下文 (Q6)：仅用 iGPU 约 10 tps；开启 MTP (n=4) 约 24 tps；FastMTP 卸载至 3080Ti 约 28 tps。
- 262K 上下文 (Q4km)：分层部署（部分权重 + FastMTP 在 3080Ti）约 53 tps。
- 1M 上下文 (Q4km)：分层部署约 45 tps。
虽然速度不及 5090 平台，但仍有大量内存余量可同时加载 Embedding 和 Reranker 模型。作者计划将其与 4x3090 上运行的 Qwen 3.6-35B (450 tps) 进行对比。
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16