自建双卡 5060 Ti 实测 12 个 4B-35B 本地模型:MoE 快数倍还能打平大模型
Careful-Report6526 · reddit · 2026-10-28
- 作者厌倦了云端合成榜单和小样本测试,自建 Linux 测试服务器:两张 RTX 5060 Ti 共 32GB 显存,Docker 里跑 vLLM
- 完整跑 12 个主流本地模型(4B-35B),不抽样,基准包括 IFEval、IFBench、ARC AGI 1、SimpleQA、SimpleQA Verified、SciCode 与 vLLM bench serve;覆盖 Qwen 3.5/3.6/3.8 的 4B/9B/27B/35B A3B、Gemma 4 的 E4B/26B A4B/31B、GLM 4.7 Flash 的 NVFP4/AWQ 量化版
- 每个模型在「开思考/关思考」两种模式下各测一次,用官方采样参数;同时记录实际墙钟时长与 tokens/s,折算 0-100 的时间效率分
- 最有趣发现:部分模型 20-30 分钟出高分,有的则在简单题上推理绕圈烧 10 小时;MoE 的 Qwen 3.6 35B A3B 与 Gemma 4 26B A4B 用时只有几分之一,还能打平甚至超过 27B/31B 稠密模型
- 全部结果发布在 llmbenchmarks.io 的可排序表格,面向 16GB/32GB 用户,无广告无追踪,新增基准持续运行中
「Infra」频道最新
- SK 海力士 Q3 营收 104.62 万亿韩元超预期,同比暴涨 328% — firstadopter · 2026-10-28
- Google TPU 首次进驻第三方超大规模云,Oracle 2027 年起部署 — rohanpaul_ai · 2026-10-28
- SK 海力士与美光齐声:HBM 存储供不应求将持续到 2030 年 — BenBajarin · 2026-10-28
- Epoch AI 算力版图图:美国份额升至约72%,中国占比持续收缩 — SamuelAlbanie · 2026-10-28
- Liquid Inference 日处理百亿 token,88.7% 输入命中缓存 — AccBalanced · 2026-10-28
- 民调：英国仅东北部支持本地建数据中心，整体净支持 -13% — SamuelAlbanie · 2026-10-28