RTX 4080+3080 双卡本地 LLM 实测:Qwen Flash-Next 单卡 prefill 反超双卡

Icaruswept · reddit · 2026-11-17

Reddit 用户分享了一份消费级硬件上的本地 LLM 速度实测表(RTX 4080 Super + RTX 3080,共 62GB RAM,跑 PolyStrata 推理栈),覆盖 7 个低量化模型的 decode 与 prefill 速度:

作者的核心观点:Q4 以下量化「都是垃圾」的老观念对新模型不再成立——Swift 微调版 Q2 在数据提取、搜索、跑脚本上很快很好,IQ3 编码能力约等于 Haiku,GLM/DeepSeek Q2 可作为 Claude 的 subagent,接近老 Sonnet 水平。建议以任务实测而非基准分数判断量化模型可用性。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →