为妻子对抗结肠癌,业余研究者复现 NBFNet 遇上 GPU 成本墙
whafa · reddit · 2026-10-20
一位业余 ML 研究者分享为患四期结肠癌的妻子寻找药物重定位候选的个人项目,并详细核算了训练成本:
- 在 Google Vertex 的 A100 80GB 上复现 NBFNet 论文,但因模型需对全图(约 10.3 万节点、250 万边)做 6 层消息传递,每查询保存激活约 1GB,批次被迫从 512 自动降到 64;
- 20 个 epoch 只看约 64 万查询,不到训练边一遍的 1/4;完整一遍约 76 小时、412 美元,对齐论文设定需约 4 天、每次约 500 美元;
- 即使小图「玩具」实验,3 个种子的运行也要约 150 美元/个。
他提问:多少训练量才算够、按需每小时 5.4 美元是否该自购 GPU、bf16 混合精度或激活检查点加稀疏 CUDA 核能否把批次推回 128+、以及链接预测中 popularity bias 的修复方法。研究笔记以 Quartz 公开在 GitHub Pages 上,由 AI「Maple」撰写、本人审校。
「Infra」频道最新
- Arm AGI CPU 首测：每机架性能达 AMD EPYC 1.99 倍 — ryanshrout · 2026-10-20
- Anthropic 或再向 Nscale 采购 450 亿美元算力，西弗吉尼亚建第二座数据中心 — firstadopter · 2026-10-20
- Semicon West 与 OCP 双会观察:3000 亿美元半导体设备市场与 TSMC N5 转 N3 — BenBajarin · 2026-10-20
- 高通联合 Liquid AI 推 Liquid Context,压缩多模态输入缓解端侧内存瓶颈 — JosephJacks_ · 2026-10-20
- PyTorchCon 企业 AI 日:Red Hat、NVIDIA、IBM 联手企业级落地专场 — PyTorch · 2026-10-20
- 新研究:SOAP/SPlus 白化梯度协方差,96 个 DiLoCo 节点稳定扩展预训练 — aaron_defazio · 2026-10-20