CrowdGPT v2.6:协作式训练 1B 模型,6 天完成 45 亿 token
Vxtzq1 · reddit · 2026-11-01
开发者 Vxtzq 发布 CrowdGPT v2.6,一个无数据中心、不用数百万美元、由社区协作训练 LLM 的开源项目(概念验证目标为 10 亿参数模型)。
v2.6 更新要点:
- 6 天完成 45 亿新 token 训练,相当于作者此前单卡两个月的工作量
- 激活 Crowd-v1 模型的 Engrams,提升事实回忆能力
- 上线协作数据集提交管道(crowdgpt.net/#submit),数据经审核后入库,已收到 400kb 提交
- 客户端发布加入加密签名:此前自动更新机制存在任意代码执行漏洞,可能被盗 GitHub 凭证利用
- 服务端加入健壮校验逻辑与客户端间拜占庭交叉验证(3 个客户端训练同一数据做冗余),大幅提高投毒门槛——恶意客户端每轮最多混入 2-3% 恶意数据而不被封禁,此前是 100%
项目网站 crowdgpt.net,代码开源在 GitHub。作者欢迎社区做数据投毒实验来检验方案边界,还同步发布了开源协作基准 CrowdBench。
「研究」频道最新
- 斯坦福 VERDICT 临床试验匹配论文获 EMNLP 2026 杰出论文奖 — stanfordnlp · 2026-11-01
- MIT 团队分析 3172 家美式中餐馆中英文名的系统性差异 — stanfordnlp · 2026-11-01
- 斯坦福团队 UIST 2026 发表 GUIDE：生成式体验用于数字心理健康干预 — stanfordnlp · 2026-11-01
- 比尔·盖茨播客对话 Yejin Choi,聊 AI 训练系统与 AI 科学 — stanfordnlp · 2026-11-01
- 研究者探讨 LLM 分层机制：persona 由哪些层决定仍待解 — maxsloef · 2026-11-01
- QwenPU:在 Qwen 3.5-4B 权重里编 NPU,跑 Karpathy 的 stories260K — LatentSpacer · 2026-11-01