DeepSeek V4.1 Flash 2.81bpw EXL3量化版上线,解码提速60%
HankYeomans · x · 2026-11-02
社区发布 DeepSeek V4.1 Flash 的 EXL3 量化版本(2.81bpw),采用 exllama3 实验性自纠错分支量化:
- 体积略小于 MiaAIlab 的 EXL3 EAQ v1 2.9bpw 版本。
- 配合自研 TurboEXL3 融合内核做流式推理,实测解码约 57 tps、prefill 约 1400 tps,相比旧版分别提速约 60% 和 90%;后续移植到 mlx-serve 还会更快。
- 量化版本已上传 Hugging Face,附带为 jinja.cpp 转写的 chat template,支持 thinkingmode(chat/thinking)和 reasoningeffort(low/high/max 或 1-100)参数。
「Infra」频道最新
- 创业者断言：协作型 agent 的服务成本问题亟待解决 — hyhieu226 · 2026-11-02
- SmolChat 更新:Android 本地跑 GGUF 模型并内置 OpenAI 兼容服务器 — shubham0204_dev · 2026-11-02
- 两张 3090 并跑 8 个 Agent,各持 25 万 token 上下文,合计 545 tok/s — o2beast · 2026-11-02
- Liquid AI 展示 LFM3 Omni 2B 直接跑在浏览器 WebGPU 里 — rm-rf-rm · 2026-11-02
- Google 太空 TPU 跑通 Gemma 首个 AI 回复,太阳能数据中心迈出第一步 — shashib · 2026-11-02
- 浏览器端 TTS 新玩法：43.7MB 模型跑出 115 倍实时速度 — blixt · 2026-11-02