在 LLM 内部模拟 GPU 训练神经网络：XOR 任务 40 步从 53% 到 98.8%
zeeshanp_ · x · 2026-11-03
开发者 zeeshanp 展示了 QwenGPU 项目的首个实验：在模型内部以分布式数据并行（DP）方式训练一个 2-8-1 的 MLP 解决 XOR 问题。前向、反向、AllReduce 和参数更新全部作为 CUDA kernel 在「模型 GPU」上运行。
- 40 步训练后测试准确率从 53% 升至 98.8%
- 每个副本每一步都与 numpy 回放完全一致
- 团队还在 4 块 GB200 上各运行一个合并的 Qwen3.5-2B 模型，将 AllReduce、ReduceScatter、AllGather、Broadcast、Reduce、SendRecv 六种集合通信与真实 NCCL 在相同 int32 输入下对比，结果完全一致，同一套 kernel 也可通过 NVLink 跑在 GB200 上
所属事件:QwenGPU：在大模型内部模拟 GPU 训练神经网络(4 条相关)→
「Fun」频道最新
- 把 RAM 枕在头下睡觉:Sam 偷内存梗图走红 Reddit — ContestOk2210 · 2026-11-03
- 花奴鲁鲁？机场牌匾「火奴鲁鲁」谐音梗逗乐 AI 圈 KOL — AlchainHust · 2026-11-03
- 开发者用 AI 起手复刻经典游戏 Worms — ilumine_ai · 2026-11-03
- Surrogate 推理引擎被曝改标洗白开源项目 NInfer 代码 — teortaxesTex · 2026-11-03
- 德国联邦学习初创 Flower.ai 官网被疑 AI 生成，遭网友群嘲 — teortaxesTex · 2026-11-03
- 用 Claude Code 复现多普勒定位：仅凭视频音频即可锁定摄像头位置 — flngr · 2026-11-03