作者复盘 wllama v4.0:RPC 方案性能损失极小,致谢 GGML RPC 后端
ngxson · x · 2026-11-23
wllama 作者 ngxson 跟进说明:把 wasm 运行时拆成多个实例、用 GGML 的 RPC 后端互联的方案,实测效果很好,性能损失非常小。作者特别致谢 @rgerganov 在 GGML RPC backend 上的工作——这项技术被用在了「最想不到的地方」:wasm 运行时内部。
「Infra」频道最新
- 特斯拉 AI5 芯片性能提升 50 倍,将率先搭载 Optimus 人形机器人 — markjeffrey · 2026-11-23
- 4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文 — Mr_Moonsilver · 2026-11-23
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23
- layerpool 开源:模型按层拆到多台设备,HF Trainer 零改动 — Historical_Syrup_461 · 2026-11-23
- wllama v4.0.0 发布:浏览器内 LLM 推理最高提速 2.8 倍 — ngxson · 2026-11-23
- 开发者叹法国坐拥低碳电网,却没建起绿色数据中心生态 — Dimillian · 2026-11-23