HF 今日直播:用 llama.cpp 与 vLLM 给模型量化瘦身
ben_burtenshaw · x · 2026-11-10
Hugging Face 今日举办量化主题直播,由 Merve Noyan、Maxime Labonne、Aditya Tadimeti、bartowski 与 mgoin 主讲,介绍如何把模型压缩到能塞进笔记本本地跑,内容包括 llama.cpp 与 vLLM 的量化实操知识(GGUF/量化格式、端侧部署加速等)。适合想在本地跑大模型的开发者观看。
「Infra」频道最新
- CoreWeave 在 KubeCon 介绍对 vLLM 等开源推理项目的贡献版图 — PyTorch · 2026-11-11
- turbopuffer 上线中日韩分词器，开发者实测 CJK 全文检索调优 — bo_wangbo · 2026-11-11
- 图解 GLM 5.3 解码显存卸载:每生成一个 token 需读 13GB 权重 — HankYeomans · 2026-11-11
- Anthropic 图解财务模型:营收同比增 12 倍,年化收入约 810 亿美元 — firstadopter · 2026-11-11
- 调查:Nvidia 东南亚最大伙伴进口芯片远超其数据中心所见 — nmasc_ · 2026-11-11
- AMD 股价创历史新高：被视作 AI 建设与英伟达风险的对冲受益者 — BenBajarin · 2026-11-11