16GB 显存跑 Qwen3.8 27B 无审查版:131K 上下文仍达 110 tok/s
Potential-Net-9375 · reddit · 2026-11-17
开发者在 Hugging Face 发布了一个特制量化 Qwen3.8-27B ASCII-Condensed-Heretic Q3KXL GGUF,目标有四:100K+ 上下文、去除审查、采用 Unsloth 式 SOTA 方法、连同桌面应用开销整体塞进 16GB 显存。
实测在 RTX 5080 上,131K 上下文生成速度约 110 tok/s,提示处理约 1100 tok/s。困惑度与 Unsloth 同级量化持平,abliteration 去审查带来的损失极低。作者称经过数千次交互测试表现优秀,比此前部分卸载到内存的 27B 快得多,并给出了详细的分位数速度统计表。
「Infra」频道最新
- FT:AI 服务器供应商签约后涨价最高达 45% — nordicinst · 2026-11-22
- World Robotics 2026:中国占全球新装工业机器人 59%,约 35.4 万台 — ingliguori · 2026-11-22
- MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25% — SumitGup · 2026-11-22
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22