本地推理性能到拐点
antirez · x · 2026-07-09
作者讨论了本地推理的硬限制：很多开权重模型并不能真正舒服地在本地跑起来。随后他提到自己用两台 M5 Max 128GB 机器加 RDMA 跑 DeepSeek v4 Flash Q5，单会话已经能到约 50 token/s；即使不开 speculative decoding 也有这个水平。
antirez · x · 2026-07-09
作者讨论了本地推理的硬限制：很多开权重模型并不能真正舒服地在本地跑起来。随后他提到自己用两台 M5 Max 128GB 机器加 RDMA 跑 DeepSeek v4 Flash Q5，单会话已经能到约 50 token/s；即使不开 speculative decoding 也有这个水平。