748B DeepSeek-V4.1-Flash 塞进 24GB Mac:SSD 流式跑出 1.36 tok/s
solyarisoftware · x · 2026-09-15
开发者 mfranzon 在 GitHub 开源了在 24GB MacBook(Apple M5)上运行 DeepSeek-V4.1-Flash 的完整项目:
- 模型共 748B 参数(552B MoE 主干 + 196B engram n-gram 表),总量约 426GB,但只占 14GB 内存——核心技巧是专家按需从 SSD 流式加载,而非全部驻留内存。
- 推理速度从 0.74 tok/s 优化到 1.36 tok/s,作者自认远谈不上可用,但让消费级设备跑上 SOTA 模型的过程本身就是一份学习材料。
- 仓库包含全部代码、加速笔记(ACCELERATION.md)、架构文档、流式发现的踩坑记录与各阶段复盘;需要约 310GB 空闲 SSD(下载脚本边下边删分片,峰值不需 427GB),Python 3.12、无需完整 Xcode。
对资源受限设备的本地部署探索者是一份难得的完整参考。
所属事件:开发者让超大 DeepSeek 模型跑进消费级设备(2 条相关)→
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31