RTX 4080+3080 双卡本地 LLM 实测:Qwen Flash-Next 单卡 prefill 反超双卡
Icaruswept · reddit · 2026-11-17
Reddit 用户分享了一份消费级硬件上的本地 LLM 速度实测表(RTX 4080 Super + RTX 3080,共 62GB RAM,跑 PolyStrata 推理栈),覆盖 7 个低量化模型的 decode 与 prefill 速度:
- LFM2.5-24B-A2B Q4 最快:decode 约 250 tok/s,双卡 prefill 达 7,930 tok/s
- MiniCPM-V 4.7 35B-A3B:decode 165-177 tok/s
- Qwen3.8-Flash-Next 出现反常结果:单张 4080 的 prefill(1,070 tok/s)反而显著高于双卡(679 tok/s)
- GLM 5.3 Flash 与 DeepSeek V4 Flash 的 IQ2 极低量化版也能跑到 7-18 tok/s decode
作者的核心观点:Q4 以下量化「都是垃圾」的老观念对新模型不再成立——Swift 微调版 Q2 在数据提取、搜索、跑脚本上很快很好,IQ3 编码能力约等于 Haiku,GLM/DeepSeek Q2 可作为 Claude 的 subagent,接近老 Sonnet 水平。建议以任务实测而非基准分数判断量化模型可用性。
「Infra」频道最新
- Together 与 Ollama 详解:prefix caching 如何让长 Agent 会话不越跑越慢 — togethercompute · 2026-11-17
- 微软 Outlook、机场、美国大银行接连宕机 — robleclerc · 2026-11-17
- Nvidia Ian Buck 回顾 CUDA 二十年:从 2006 年单一工具到全工作负载库 — firstadopter · 2026-11-17
- HexAnima 分支实现骁龙 8 Gen 2 NPU 离线生图,约 7 秒一张免 root — ilinkys · 2026-11-17
- NVIDIA cuPotential 让分子动力学 FEP 提速 3 倍以上 — AllThingsApx · 2026-11-17
- ETH Hoefler SC26 三场报告:AI 超算的关键在网络而非 GPU — thoefler · 2026-11-17