Unsloth Dynamic v3.1 GGUF 发布:Qwen3.8 与 DeepSeek-V4.1 少 50% token 还更快
danielhanchen · x · 2026-11-12
Unsloth 为 Qwen3.8-Flash-Next 和 DeepSeek-V4.1-Flash 发布 Dynamic v3.1 GGUF 量化版本,主打量化模型「过度思考」问题的修复:
- Qwen3.8-Flash-Next:思考与 token 用量降到约全精度的 95%,相比同尺寸其他量化版本最多省 50% token、快 7%、准确率约高 15%;基于 512K 上下文、300 亿 token、12 个任务(含 Terminal Bench、DeepSWE)评测
- DeepSeek-V4.1-Flash-1017:在 512K 上下文的 agentic 基准(DeepSWE、Terminal Bench 2.1、Automation Bench、Aider Polyglot)上明显优于 GSQ-RCO 量化,多数档位接近甚至超过 8-bit 基线
- 硬件需求(DeepSeek):1-bit 需 128–145GB 内存,4-bit 约 305GB,8-bit 315GB
对本地部署大模型、追求低 token 消耗与高吞吐的开发者很有参考价值。
所属事件:Unsloth 发布 Dynamic V3.1 量化，精度提升且 token 减半(4 条相关)→
「Infra」频道最新
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12
- 施密特基金会被曝资助法国反数据中心 NGO,行业利益现反差 — StephanSturges · 2026-11-12
- 开源模型千美元级自动攻破 6 版 Firefox,Epoch 揭示补丁窗口攻击扩散 — Epoch AI · 2026-11-12