Qwen3.8-Flash-Next 压到 1.66bpw 仍稳定，完整塞进单张 5090
Unstable_Llama · reddit · 2026-10-21
Reddit 用户 UnstableLlama 发布了 Qwen3.8-Flash-Next 的 1.66bpw exl3 极限量化版本（Hugging Face 已开源），并实测其稳定性。
- 模型完整装入单张 5090（32GB 显存内），无需 offload 专家权重，是罕见的 sub-2bpw 稳定量化的例子。
- 实测推理全程稳定，无 reasoning loop，速度约 200-300 tokens/s；但 32GB 显卡即使做了 KV cache 量化，留给上下文的空间仍很紧，需要频繁 compacting。
- 作者附上量化模型生成的「流体猫」交互 demo 视频作为效果展示。
「Infra」频道最新
- NVIDIA GTC 2026 柏林站开幕，现场直击供需与波动话题 — kimmonismus · 2026-10-21
- 数据中心用电预计 2030 年翻倍,并网排队已超 2500 GW — ingliguori · 2026-10-21
- 开发者自建交互图：开源模型智能指数 vs 参数量一目了然 — xrailgun · 2026-10-21
- antirez 试用 DHH 赠送的 Omarchy 系统,计划适配大模型 SSD 流式加载 — antirez · 2026-10-21
- 传 NVIDIA 中国订单达 350 亿美元，实际只能交付 5-10% — emmanuelvivier · 2026-10-21
- swyx 回应质疑:供不应求的市场里,token 越多收入越高而非价格越低 — swyx · 2026-10-21