96GB M3 Ultra 跑本地模型实测:Qwen3.8-27B 编码体验最佳

FanDiscombobulated38 · reddit · 2026-10-20

Reddit 用户分享 96GB 统一内存 M3 Ultra Mac Studio 的本地模型配置:llama.cpp + Metal,经 llama-swap 单模型加载。编码用 Qwen3.8-27B 的 Unsloth Q80 量化,开 MTP 投机解码,262K 上下文;聊天用 Qwen3-Coder-Next 的 UD-Q6KXL,131K 上下文,均配 Q80 KV cache。他反馈 Coder-Next 在编码上不如预期,主要当聊天模型用,并征询同硬件用户的具体模型/量化/性能数据。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →