64GB Mac 跑 DeepSeek V4 Flash：修补 llama.cpp 后解码达 8 tok/s
memeka · reddit · 2026-08-13
开发者在 M1 Max 64GB MacBook 上成功运行 DeepSeek-V4-Flash-0731。通过对 llama.cpp 打补丁，使用 IQ3-XXS 量化（104GB）并将上下文限制在 64k，实现了约 8 tok/s 的解码速度和 30 tok/s 的预填充速度，表现远超预期。
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16