llama.cpp 新 PR 支持跨机器张量并行,多电脑共跑一个大模型
jacek2023 · reddit · 2026-10-06
llama.cpp 合入新 RPC 参数 -sm tensor(PR #26610,作者 am17an),支持跨多台机器做张量并行。
意味着用户可以把一个模型拆到多台电脑上共同推理,不再受单机显存限制,对本地部署超大模型的社区是重要进展。
「Infra」频道最新
- Macrocosmos 推 iota SDK:同一套算力可租用于预训练、RL 与推理 — markjeffrey · 2026-10-07
- AI 算力云 Lambda 拟融资 40 亿美元，投前估值 145 亿冲刺 IPO — gharik · 2026-10-07
- AgentID 上线：给 AI Agent 一键颁发独立身份登录应用 — testingcatalog · 2026-10-07
- 报告:智能体数据过路费——企业 agent 数据服务支出 2030 年将达 300 亿美元 — BenBajarin · 2026-10-07
- 华为测试 256K 卡 Atlas-950 超节点,目标百万卡如一机 — teortaxesTex · 2026-10-07
- MIT CSAIL 推出 Ascent Lab：浏览器里设计机器人并训练行走 — MIT_CSAIL · 2026-10-07