DwarfStar 新增多项推理优化
antirez · x · 2026-07-20
DwarfStar 发布了一个“可能会炸”的新版本,新增内容很多:micro-batching、CUDA 多设备支持、GLM5.2、通过 RDMA 实现的 Metal 张量并行执行,以及 DSpark 的 speculative execution 等。作者也坦言这次改动太多,后续 QA 会变得很重。
「Infra」频道最新
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel,H100 上提速 2.75 倍 — sguada · 2026-10-27
- DeepSpeed 发布 AutoEP/AutoTP 等并行化进展并办线上答疑 — PyTorch · 2026-10-27
- 9B 本地模型干机械活,规划交给大模型:一套省 token 的编程 agent 分工法 — Electrical_Ninja3805 · 2026-10-27
- Cloudflare Durable Objects 被验证为 AI agent 高并发场景优选架构 — tristanbob · 2026-10-27
- Gary Marcus:补上 Q3 数据后,Anthropic 算力效率增速现拐点 — GaryMarcus · 2026-10-27
- SpaceX 锁定 400 亿美元 GPU 融资,号称史上最大规模 — TechCrunch AI · 2026-10-27