开源项目可多机跑70B模型
Shruti_0810 · x · 2026-07-14
一个新的开源 Rust 项目主张：不必再默认「要跑大模型就得买更大的单卡 GPU」。 它的思路是把多台现有机器拼成一个本地推理集群： - 如果单机能装下模型，就本机运行。 - 如果单机装不下，就交给另一台机器。 - 如果没有任何单机能装下，就通过 **Skippy stage splits** 把模型切到多设备上分布式推理。 作者强调，这意味着旧游戏 PC、闲置工作站、甚至吃灰服务器都能一起参与推理；项目用 Rust 编写，并且是开源的。