vLLM nightly 支持 PLE 磁盘卸载,PR 标签现「Qwen4Exp」引 Qwen4 猜想
rmhubbert · reddit · 2026-10-31
vLLM 主线合入 PLE（preload/layer 卸载类）磁盘 offload 支持,已在 nightly 版本可用,对应 GitHub PR #59958（约 +598/-23 行改动,21 commits）。值得注意的是 PR 标题带有「[Qwen4Exp]」前缀,暗示该功能与下一代 Qwen 模型的实验性部署有关,被社区解读为 Qwen4 的早期信号。
「Infra」频道最新
- Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s — viveky259 · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31
- a16z 数据：GPU 租金三个月涨 106%，token 价格反跌 58% — a16z · 2026-10-31
- 按分钟租 GPU 渲染只要 1 美元:一人 AI 工作室工作流曝光 — r0ck3t23 · 2026-10-31
- 四台 Mac 实测 32 个模型:M5 Max 跑 MoE 追平 M3 Ultra — Striking-Swim6702 · 2026-10-31