单张 RTX 5090 跑 Qwen 3 27B 宣称达 700 tokens/秒
IgorCarron · x · 2026-11-11
开发者 @ashxhart 宣称在单张 RTX 5090 上跑 Qwen 3 27B 模型达到约 700 tokens/秒的生成速度，并晒出了实测结果。Igor Carron 转发感慨“模型和推理优化的门槛又在下降”。该成绩若属实，说明消费级单卡配合激进量化/推理栈已能跑出接近服务器级的吞吐，具体实现细节尚待作者披露。
「Infra」频道最新
- 英伟达 22% 营收来自新加坡，仅约 1% 是本地买家 — Gregory_C_Allen · 2026-11-11
- 华为麒麟 9050 NPU 宣称手机离线跑 30B MoE 模型 — AIFlow_ML · 2026-11-11
- Stratechery 分析英特尔与 AMD 财报分野:英特尔需找回老路 — Stratechery · 2026-11-11
- a16z 播客:Mike Volpi 用 90 年代互联网基建潮类比当下 AI 建设 — a16z Podcast · 2026-11-11
- 阿里申请平头哥赴港上市，为 AI 战略筹资 — pstAsiatech · 2026-11-11
- AWS CEO:算力缺口将持续未来数年，需求远超供给 — firstadopter · 2026-11-11