AMD5本地推理不到0.2 tok/s
DanGrover · x · 2026-07-13
作者在一台中端 AMD5 芯片、128GB 内存的机器上测试，推理速度只有不到 0.2 tok/s。 即便开启“把部分专家放到 GPU”之类的功能，也没有明显改善速度。作者的结论是：虽然很慢，但“能跑起来”本身还是挺酷的。
所属事件:GLM CPU纯离线推理遭质疑，实测不足0.2 tok/s(2 条相关)→
「Infra」频道最新
- 一张图对比：Moonshot 在养心智，DeepSeek 在建电网 — teortaxesTex · 2026-07-21
- FlashRT：利用智能体优化多模态应用部署，B200延迟降低70倍 — Krish Agarwal · 2026-07-21
- Reddit 用户设计四层本地 AI 机房：vLLM 到 OPNsense 全分层 — povedaaqui · 2026-07-21
- 现货内存价飙升 140%，合约重定价开始滞后 — tengyanAI · 2026-07-21
- 有人把 AI 使用方式指向异步长周期实验而非单买算力 — voooooogel · 2026-07-21
- PrismML Bonsai 27B 量化后仅 3.8GB 可手机运行 — tony10000 · 2026-07-21