一个 flag 就能用 vLLM 服务任意 Transformers 模型,无需手写移植
ariG23498 · x · 2026-09-09
vLLM 的 transformers modeling 后端鲜为人知：加 --model-impl transformers 参数即可用 vLLM 直接服务任何 Hugging Face Transformers 模型，无需手写 vLLM 移植，还能开箱即得 continuous batching、paged attention、张量并行和 OpenAI 兼容 API。
「Infra」频道最新
- Fuzz 测试自家 Rust Postgres,顺带挖出 20+ 个 Postgres 本体 bug — DanielLockyer · 2026-09-09
- 新加坡启用 20 台 CL1 生物计算单元,活体人脑神经元接入数据中心 — Olivier__OG · 2026-09-09
- 英国数据中心实际仅创造 1.04 万岗位,不到行业宣称 4 万的三成 — nordicinst · 2026-09-09
- 改用 CLI 跑 AI 后 Mac 续航骤降,可能是 agent 长驻耗电 — DanielLockyer · 2026-09-09
- OpenAI 高管称 Astra 需求空前,GPT-6 用量若续涨或暂停新增 Pro 订阅 — op7418 · 2026-09-09
- BeaconKV:用信标查询预测 KV 缓存复用,压缩长推理链显存 — Janghyeon Kim · 2026-09-09