RTX 3090+2080 跑 Qwen3.8-Flash-Next 实测:66K 上下文 2 万 tok/s 预填充
Atagor · reddit · 2026-11-17
Reddit 用户分享在 RTX 3090 24GB + RTX 2080 SUPER 8GB、96GB DDR4 上的本地推理实测(Unsloth UD IQ4XS 量化):
- 聊天解码 80.4 tok/s,首 token 0.47s;16K 提示处理 1915 tok/s
- Agent 会话解码 101.7 tok/s,缓存命中率 69.4%
- 自建「大海捞针」压力测试:单条 66,371 token 提示,预填充约 34s(≈2050 tok/s),满载 KV 下解码 76.1 tok/s,中段密码正确检出
附带 3090 实用踩坑经验:显存接近占满时降频会导致整机死机的驱动 bug,把显存时钟锁定在 9501 MHz 可彻底规避,代价是待机功耗从约 25W 升至约 110W,但吃显存的任务反而更快;满载温度 79°C。
「Infra」频道最新
- MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25% — SumitGup · 2026-11-22
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22