开源推理项目 llm-d 将在 PyTorch 大会公布扩展新进展
PyTorch · x · 2026-10-13
IBM Research 杰出工程师、llm-d 项目联合创始人 Carlos Costa 将在 10 月 20-21 日圣何塞举办的 PyTorch Conference North America 上公布 llm-d 的新消息。
成立一年多来，llm-d 在开源生成式推理服务上达到新成熟度：不仅性能达到 SOTA，还支持多租户 QoS、零停机运维等“第二天运营”能力，且不牺牲生产性能。
「Infra」频道最新
- Rodolfo Rosini 畅想 2040:廉价算力无处不在,设备数量再爆数个量级 — MikePFrank · 2026-10-13
- AI 推理芯片市场年规模 2250 亿美元,Vaire 解释为何鲜有初创敢做芯片 — MikePFrank · 2026-10-13
- Vaire CEO 访谈四连发：可逆计算芯片要让能量像潮汐磨坊一样往复利用 — MikePFrank · 2026-10-13
- 中国 AI 基建年烧 1650 亿美元,模型年入仅 110 亿,芯片产能不足英伟达 4% — demian_ai · 2026-10-13
- llama.cpp 新版发布：支持多模态模型，Metal 性能再升级 — vboykis · 2026-10-13
- Broadcom 光互联路线图：2026 年 Tomahawk 6 达 102.4T — firstadopter · 2026-10-13