两台 24GB 机器本地跑 Qwen3 27B：仅 3~4 tok/s 且任务中途失败
shadyshak · reddit · 2026-09-16
作者用两台机器（Minisforum UM790 Pro 和 Ryzen 9 7940HS + Radeon 780M，均 24GB 内存）通过 Ollama 跑 Qwen3 8:27B 测试同一个「WiFi 路由器统计应用」编码任务。
结果显示：两台机器生成速度分别仅约 3.2 和 4.7 tokens/s，一次完整运行耗时 1113 分钟；更糟的是两个实例都无法完成任务，一个中途停止、一个输出被截断，继续追问时模型停止输出或只输出极少 token。两台机器的策略还明显不一致（一个先列方案、一个直接写码）。
对想在小内存设备上本地跑 27B 级模型的人，这是一个速度与任务完成度的双重警示。
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02