单卡 3090 跑 DeepSeek V4.1 Flash 达 20 tokens/s,量化无损质量
casper_hansen_ · x · 2026-11-12
作者 casperhansen 展示 DeepSeek V4.1 Flash 1017 在单张 RTX 3090 + 64GB 内存上以 20 tokens/s 运行。技术栈：vLLM 作前端负责调度、工具调用与 OpenAI/Anthropic 兼容 API，ExLlamaV3 负责前向计算，使用 2.25bpw 的 EXL3 量化模型。作者澄清「零质量损失」指推理引擎常见的为冲高 tokens/s 而牺牲质量的做法在此不存在，并计划用自己的前向实现替换 ExLlamaV3。
所属事件:单卡 3090 本地跑 DeepSeek V4.1 Flash 达 20 tokens/s(3 条相关)→
「Infra」频道最新
- 观点：AI 基础设施正演变为「编码运行时」，智能单元将超越 token — prateekj · 2026-11-12
- 开发者开源 PrefixRelay:让 Cursor 稳定复用 KV 缓存跑本地模型 — jjusko20 · 2026-11-12
- Rust 推理引擎 Kinetic 实测 0.13 秒答 2.2 万 token 文档,比 llama.cpp 快 84 倍 — jasonkneen · 2026-11-12
- HP 开卖 $13.2 万 GB300 工作站：748GB 统一内存可本地跑万亿参数模型 — gnukeith · 2026-11-12
- GitHub CI 分钟不够用，开发者晒 M5 Ultra Mac Studio 求自建 macOS runner — ow · 2026-11-12
- NVIDIA 联手 RadixArk,SGLang Rubin 性能 5 天再提升至 10 倍 — ying11231 · 2026-11-12