RTX 5090本地跑GLM-5.2与Kimi K3：速度可达129 tok/s
markjeffrey · x · 2026-07-31
推友分享了一项基于半价 RTX 5090 消费级配置的本地推理实测数据。
- GLM-5.2：解码速度达到 129 tok/s。
- Kimi K3：解码速度达到 108 tok/s。
- 背景对比：该测试回应了此前 tinygrad 团队使用 AMD 设备实现 120 tok/s GLM-5.2 的前沿部署方案，证明了消费级显卡在运行大模型方面具备极高性价比。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16