开源项目 llama-modchip 纯 CPU 跑 284B DeepSeek 模型,64GB 内存零 GPU
solyarisoftware · x · 2026-11-09
开源项目 llama-modchip 实现了在普通电脑内存中运行 DeepSeek 284B 大模型,完全不需要 GPU:
- 284B 模型全量装入 64GB 内存,推理速度约 9-15 词/秒,支持 256K 上下文
- 16-32GB 内存的笔记本可运行 30B MoE 模型,速度 25-111 tokens/秒
- 兼容 Intel、AMD 和 Apple 芯片,Apache-2.0 开源,已获 584 star
项目采用 SwiGLU-H2、Stockfish-PVS 投机解码等技术优化 CPU 推理。这种规模的模型过去需要一整机架 GPU,现在一台普通电脑即可承载,对本地部署和端侧推理是重要进展。
「Infra」频道最新
- 新注意力核算法提速1.8-6.4倍，精确相对位置注意力进FlashAttention — INSAIT-Institute · 2026-11-09
- AMD 大涨 11% 收于 449 美元,盘前再涨 2% 续创新高 — firstadopter · 2026-11-09
- 评论人称推理成本正成为 AI agent 的隐形天花板:算力紧、token 涨价就失去经济性 — DavidLinthicum · 2026-11-09
- DeepSeek V4.1 Flash 1017 在 Vercel 跑出 1000 tok/s，家用 4x3090 也能到 65 — AccBalanced · 2026-11-09
- GPU 租价表曝光:GB300 整柜月租 340 万,B200 整机 27 万/月 — sujingshen · 2026-11-09
- 分析师估算：中国贡献约20%算力营收，禁租令或重创现货市场 — zephyr_z9 · 2026-11-09