Transformers 原生支持 GGUF:Qwen3.5-27B 在 M2 Max 反超 llama.cpp
Disastrous-Work-1632 · reddit · 2026-09-23
Hugging Face 的 Aritra 宣布 transformers 现已原生支持 GGUF（llama.cpp 系量化格式），加载后可直接使用常规 Transformers API，便于调试、评测和自定义生成，且量化模型更小、适合笔记本运行。
用法示例：
python
from transformers import AutoModelForCausalLM, AutoTokenizer
modelid = "unsloth/Qwen3.5-4B-GGUF"
model = AutoModelForCausalLM.frompretrained(modelid, gguffile="Qwen3.5-4B-Q4KM.gguf")
在支持的 Apple Silicon 设备上会复用 ggml 内核，直接从打包的量化权重运行。在 M2 Max 上对 Qwen 检查点的实测：
- Qwen3.5-4B Q4KM：70.4 tok/s（llama.cpp 为 71.8）
- Qwen3.8-27B UD-Q4KM：15.9 tok/s，反超 llama.cpp 的 13.4
- Qwen3.5-35B-A3B UD-IQ4XS：60.2 tok/s vs 61.3
作者强调这并非要取代 llama.cpp——追求极致本地推理性能仍推荐 llama.cpp，其价值在于能在更灵活的 PyTorch 生态里使用同一批 GGUF 模型。
所属事件:Transformers 原生直跑 GGUF，性能追平 llama.cpp(8 条相关)→
「Infra」频道最新
- 地理空间数据栈全景图发布：从卫星观测到 AI 上下文基础设施 — clemnt · 2026-11-11
- 降价反而更贵:新模型太爱自查，单任务成本涨31% — tengyanAI · 2026-11-11
- Anthropic IPO 需求火爆传拟上调定价，目标估值 1.4 万亿美元 — firstadopter · 2026-11-11
- 本地 LLM 路由器 SimpleHarn：显存不够就拒绝加载模型 — legislat · 2026-11-11
- Rivet 推出 SQLite Forking:20ms 分叉 agent 线程且零数据拷贝 — samgoodwin89 · 2026-11-11
- 法国网友提议数据中心向周边居民付费补偿 — clemnt · 2026-11-11