llama-modchip：64GB 内存纯 CPU 跑 284B 模型，零 GPU
pmttyji · reddit · 2026-11-12
GitHub 项目 synchopate/llama-modchip（936 stars）声称可在纯 64GB 内存的 CPU 上运行 IQ1 量化的 284B DeepSeek-V4-Flash（低于 59GiB RAM，44.4 tok/s 预填充，9.1-14.7 tok/s 生成），以及 30B MoE 模型 Q4 量化（25-111 tok/s），上下文长度达 256K，无需任何 GPU。适合带 AVX-512 的老服务器/工作站和 64GB 内存的笔记本。GGUF 权重已发布在 HuggingFace（Synchopate）。
「Infra」频道最新
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12
- 英国 AI 芯片公司 Fractile 融资 7.2 亿美元，跻身算力赛道头部 — TechCrunch AI · 2026-11-12