llama.cpp适配Hy3并提供GGUF量化

rerri · reddit · 2026-07-07

llama.cpp已为刚发布的Hy3模型提交PR并制作GGUF量化版本，目前处于早期但已可运行。测试者用Q2_K量化在5090+Zen 4/96GB DDR5上得到约10-11 tokens/s的连贯输出。PR与GGUF模型文件已开源。