创业团队把推理路由到桌面设备，还能跨两台电脑切模型

punkyrockypocky · reddit · 2026-08-04

一家本地 AI 创业团队介绍了他们的 “multiplayer model serving” 网络：把请求路由到不同桌面设备，处理故障恢复、设备内存管理和模型放置，还能把更大的模型切分到两台设备上共同推理。他们已经搭起一个面向消费者应用请求的公共入口，正在寻找几位 AI 开发者先行测试；未来还计划开放让用户贡献闲置算力，形成公共推理网络。