单卡 3090 本地跑 DeepSeek V4.1 Flash 达 20 tokens/s

开发者 casperhansen 展示在单张 RTX 3090 加 64GB 内存的配置上,以 20 tokens/s 的速度本地运行 DeepSeek V4.1 Flash 1017,且实现零质量损失的量化,背后有官方开源推理栈加持。他还表示若再加 64GB 内存,速度还可再翻倍,展示了消费级硬件运行该模型的可能性。

2026-11-12 ~ 2026-11-12 · 3 条相关

另有 1 条近重复转述:casper_hansen_