公民分布式 LLM 训练实测:仅 443 端口、safetensors 防投毒

OrganizationTop9026 · reddit · 2026-11-14

作者本周将自研的 HiveMind 协调器与 CrowdGPT(由 Vxtzq 主导)对接,围绕开源基座 Crowd-v1 展开一次公民分布式训练(11 月 14-15 日 CET)。该模型含 658M transformer 主干,加 151k 词表的 CrowdEngram 表后总参数约 1.01B,志愿者 setup 仅需五分钟。针对家用 GPU 用户不愿参与分布式训练的三大痛点——要在路由器开洞、怕运行不可信 pickle checkpoint、怕后台训练占用 VRAM——设计如下:- 通信只用出站 HTTPS 443 端口,零入站监听- 权重仅以 SHA-256 校验的 safetensors 传输,全程不用 torch.load/pickle- 更新经 MultiKrum 离群过滤 + held-out loss 检查后按 DiLoCo 方式合并作者坦承这仍是实验性 PoC 而非成熟云服务,提醒勿经志愿节点发送私密 prompt 或敏感密钥。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →