Transformers 运行 GGUF 追平 llama.cpp 性能,GGML 内核立功
LysandreJik · x · 2026-09-22
Hugging Face 核心维护者 Lysandre 宣布 Transformers 库在 GGUF 支持上的重要升级：
- Transformers 多年前已能加载 GGUF 文件，但方式是「反量化」（unquantizing），即把量化模型还原后运行，性能有损失。
- 得益于开发者 @marcsun 的贡献，现在通过 kernels 库直接调用 GGML 内核运行 GGUF 模型，性能已与 llama.cpp 持平。
- 作者特别感谢 ggmlorg 团队制作了这些内核。
所属事件:Transformers 原生直跑 GGUF，性能追平 llama.cpp(8 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12