本地量化实测:129GB Qwen3.8 Flash 满分击败 390GB DeepSeek V4.1
whiteh4cker · reddit · 2026-10-23
Reddit 用户自建量化模型并实测对比两款本地部署大模型:Qwen3.8-Flash-Next(W4A16-FP8PLE 量化,129GB)对比自制的 DeepSeek-V4.1-Flash-1017 2.6bit 量化(187GB 权重 + 203GB Engram,共约 390GB)。用改造版 BenchKit 跑分,DeepSeek 得 23/25,Qwen 满分 25/25。
关键案例:
- HumanEval 第 22 题(filterintegers):DeepSeek 思考 127.9 秒后陷入 doom loop,被监控脚本在活跃循环持续 10 秒超 80% 时强制终止;Qwen 18.8 秒给出正确的一行答案
- HumanEval 第 24 题(largestdivisor):DeepSeek 等待近 300 秒后被判失败;Qwen 34.5 秒给出正确实现
作者结论是小样本但已足够指导选型:继续用 Qwen。对低显存/低带宽本地部署用户有参考价值——更小体积的高质量量化可能比极限低比特的大模型更实用。
「Infra」频道最新
- Aalo Atomics 8 个月建成实验核堆，AI 算力竞逐能源瓶颈 — NinaDSchick · 2026-10-23
- 博主 racks 六台 ASUS GX10，合计 768GB 显存跑本地模型 — glenbeer · 2026-10-23
- Project NOMAD:在断网前用 Claude Code 装好一套离线 AI 知识服务器 — alex_verem · 2026-10-23
- PyTorchCon 2026:3500人参会,TorchTPU 原生支持亮相 — PyTorch · 2026-10-23
- Tailscale 创始人复盘:当年弃用密码选纯 OIDC,如今可上 passkey — davidcrawshaw · 2026-10-23
- HarnessRouter 开源：一套 API 统一调度 Codex 与 Claude Code 等编程智能体 — tom_doerr · 2026-10-23