RTX 5090 本地编码模型怎么选:Qwen 27B 200TPS 与 Flash 50TPS 之间找平衡
MasterNomie · reddit · 2026-09-28
一位在 RTX 5090 + 96GB DDR5 上跑本地模型的用户求助:Qwen 3.8 27B 编码能力尚可且解码超 200 TPS,但 Flash next 能力更强却只有约 50 TPS,他想要一个介于两者之间、解码速度在 75-100 TPS 的编码模型,并计划把内存升级到 128GB。若找不到合适模型,他考虑用 Flash next 做规划、27B 做实现的分工方案。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16