GLM-5.2 已能在戴尔工作站本地跑到 40 tokens/s
pcuenq · x · 2026-07-28
- Michael Dell 晒出一段演示：GLM-5.2 这个 753B 参数模型，已经能在搭载 GB300 的 Dell Pro Max 上本地跑到 40 tokens/s。
- 这条帖子的核心观点不是“人人都能本地跑”，而是：这类前沿模型会先被各家服务商高效托管，再被昂贵的本地/云端机器拿去 蒸馏 成更小的模型。
- 也就是说，真正变化的是模型分发链路：大模型先成为教师，小模型再落到普通人可用的硬件上。
- 结合图片里的实机演示，帖子强调的是前沿智能正在从数据中心向个人设备渗透。
「Infra」频道最新
- Reflection AI 开源 Beam：Apache 2.0 权重+40 余家生态伙伴 — zhyncs42 · 2026-10-16
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16