蚂蚁集团联合 vLLM 社区发布量化推理内核库 Humming
vLLM Blog · rss · 2026-10-21
vLLM 博客宣布开源量化推理内核库 Humming,由蚂蚁集团与 vLLM 社区共同打造。该库支持广泛的 GPU 型号与量化方案,覆盖 dense 与 MoE 架构,并给出性能对比结果,已集成进 vLLM,目标是让量化推理更快、更灵活。
「Infra」频道最新
- 谷歌在芬兰非法砍伐 25 万棵树建数据中心，被叫停引发众怒 — BlackHC · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23