vLLM 新版支持 Mistral Large 4 三档推理力度,Pixtral 可多图输入
vllm_project · x · 2026-10-29
vLLM 发布新版本,加入 low/medium/high 三档推理力度(reasoning effort)控制,默认为 high;Pixtral 视觉模型支持单条 prompt 多图输入,适配多模态工作流。此外 SkyRL 已支持对 Mistral Large 4 的 day-0 RL 训练,可用 vLLM 做 rollout。
「Infra」频道最新
- 基因组模型 Evo 2 适配 vLLM,7B 可在单张 H100 跑 1Mb 上下文 — anshulkundaje · 2026-10-30
- Meta 语义 token 化广告推荐系统，转化率提升 0.35% — Meta_Engineers · 2026-10-30
- 并行语言模型 5.7 倍提速：一次前向预测多 token 且质量不掉 — aaron_lou · 2026-10-30
- Oracle 投资者日披露:1GW AI 基础设施合约值 800 亿美元、ROI 约 28% — rohanpaul_ai · 2026-10-30
- Sam Altman：本地推理是对稀缺算力的糟糕分配，云上利用率才是正解 — morqon · 2026-10-30
- AWS 实战指南：在 EKS 上部署 120B 参数 Nemotron 3.5 Super VL — AWS ML Blog · 2026-10-30