量化版 Qwen 27B 本地跑在飞机上，水平接近半年前前沿模型

soumitrashukla9 · x · 2026-08-18

用户在飞行途中本地运行 Qwen 27B 的量化版本(占用不到 20GB 内存)，体验非常好。除了一点谄媚倾向、首次回复用了中文外，整体表现出色。\n\n作者让它做了上学期泛函分析课最难的一套题，除最难题外全部做对。作者感叹:一个比 99% 人类都聪明的模型，如今能塞进 20GB 内存里本地运行，ggerganov(llama.cpp 作者)转发称值得深思。