Transformers 直连 GGML 内核，GGUF 推理性能追平 llama.cpp
LysandreJik · x · 2026-09-22
Hugging Face Transformers 此前虽已支持加载 GGUF 文件，但需要先反量化，性能有明显损耗。现在得益于工程师 @marcsun 的工作，Transformers 通过 kernels 库直接调用 GGML 内核运行 GGUF 模型，性能达到与 llama.cpp 相同的水平。作者特别感谢了 GGML 团队提供这些高质量内核。
所属事件:Transformers 原生直跑 GGUF，性能追平 llama.cpp(8 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- Plurai 发布 Agent 仿真测试插件:数字孪生让 Agent 先在虚拟世界翻车 — nikola_mr64990 · 2026-11-12
- Agent 说「Done」不等于真做完:Plurai 仿真核验实际行为 — nikola_mr64990 · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12