16-128 并发用户实测：分类与生成任务对 LLM 压力差异显著
rseroter · x · 2026-09-08
作者分享了针对开源 Gemma 模型的压力测试，分别在 16、32、64、128 并发用户下对比「分类」与「生成」两类负载场景，指出不同类型的 LLM 请求对系统压力差异很大。附有详细测试数据链接。
「Infra」频道最新
- Marigold V2 训练配方：4bit 量化 DiT 加 QLoRA 单卡微调 — AntonObukhov1 · 2026-09-09
- Magic 宣称预训练效率提升 50 倍：约 50 万美元复现 DeepSeek V4 Pro — magicailabs · 2026-09-09
- 45 万美元训练出前沿级法律模型 Thomson,数据策展成关键杠杆 — schwarzjn_ · 2026-09-09
- 高通确认 AWS 合作已计入 FY29 150 亿美元数据中心营收目标 — BenBajarin · 2026-09-08
- 数据中心建设开支半年暴增250亿美元,招聘岗位重回30万+ — AccBalanced · 2026-09-08
- 算力金融化狂飙:GPU租赁CDO或将上市 — AccBalanced · 2026-09-08