4张5060Ti本地跑Qwen3.6实测
starkruzr · reddit · 2026-07-12
作者实测用 4 张 RTX 5060 Ti 跑 Qwen3.6-27B 做代码生成，结论是这套组合在当前推理环境里性价比很高。 文章的重点不只是“能跑”，而是围绕本地推理的工程约束展开： - 目标是尽量保留 256K 上下文、使用 Q8、FP16 KV，并开启 MTP - 为了单流单用户的 codegen，batch size 设为 1 - 认为 4 张 5060 Ti 能满足这些要求，同时待机功耗低、发热小 - 推荐双 x16 插槽、可 bifurcation 的主板，实测把两张卡插入后会协商到 x8，再 bifurcate 到 x4 给每张卡，带宽足够 作者还比较了其他方案：双 3090、双改装 3080、以及 128GB 的小型整机，认为在功耗、价格和可升级性上，4×5060 Ti 更合适。