Claude 会先下权重再部署
TheZachMueller · x · 2026-07-10
作者发现,在用 **Claude** 模型做部署时,有个有趣的习惯:当你要求它用 **vLLM** 部署时,它会先提醒你权重不在磁盘上,然后先把权重下载好,再启动 vLLM、SGL、TRT 等推理框架。
TheZachMueller · x · 2026-07-10
作者发现,在用 **Claude** 模型做部署时,有个有趣的习惯:当你要求它用 **vLLM** 部署时,它会先提醒你权重不在磁盘上,然后先把权重下载好,再启动 vLLM、SGL、TRT 等推理框架。