4 台树莓派 5 组网跑 Startlux 4B 9B Instant Q40 量化模型
bartlomiej__ · reddit · 2026-11-10
开发者 b4rtaz 在 distributed-llama 项目（v0.17.1）的 Discussion #302 中展示：用 4 台 8GB 的 Raspberry Pi 5 组成分布式集群，以 Q40 量化方式运行 Startlux 4B 9B Instant（System1/Jev）模型。这是该项目把大模型权重分布到多台低功耗设备上推理的又一实例，展示了低端硬件协同跑 LLM 的可行性。
「Infra」频道最新
- CoreWeave 在 KubeCon 介绍对 vLLM 等开源推理项目的贡献版图 — PyTorch · 2026-11-11
- turbopuffer 上线中日韩分词器，开发者实测 CJK 全文检索调优 — bo_wangbo · 2026-11-11
- 图解 GLM 5.3 解码显存卸载:每生成一个 token 需读 13GB 权重 — HankYeomans · 2026-11-11
- Anthropic 图解财务模型:营收同比增 12 倍,年化收入约 810 亿美元 — firstadopter · 2026-11-11
- 调查:Nvidia 东南亚最大伙伴进口芯片远超其数据中心所见 — nmasc_ · 2026-11-11
- AMD 股价创历史新高：被视作 AI 建设与英伟达风险的对冲受益者 — BenBajarin · 2026-11-11