4×3090 实测:Gemma 3.8 27B Q8 比 Next IQ3 82GB 更快也更准
Repulsive_Initial308 · reddit · 2026-08-28
一位用 4 张 RTX 3090 跑 llama.cpp 的用户分享了 3.8 Next IQ3 量化的初步测试:结论是「Meh」。其混合跑 Q4/Q8/BF16 的方案已接近完美,而 3.8 27B Q8KXL(权重 32GB)在安全漏洞评估能力和推理速度上都大幅优于 3.8 Next IQ3(权重高达 82GB)。作者也承认现在还属早期,后续可能有变化。
「Infra」频道最新
- 开源 Discord AI 助手 Zauq：支持多模型路由与 Docker 沙箱 — rar_file-exe · 2026-08-28
- 数据中心暴利让电力公司拟降费，用户年省百美元 — bennash · 2026-08-28
- 为什么本地 LLM 感觉比云端更笨？技术细节全解析 — JeremyCMorgan · 2026-08-28
- 爆料称 GTA VI 游戏本体容量将介于 748GB 至 2TB 之间 — PtrPomorski · 2026-08-28
- 仅耗时 5 小时即可本地运行前沿 AI 模型 — MaziyarPanahi · 2026-08-28
- Qwen3.8 Flash Next 本地部署参数与性能测试分享 — Motor_Ad16 · 2026-08-28