消费级显卡跑大模型两年提速12倍,预测2027年游戏PC可本地运行前沿模型
Yuchenj_UW · x · 2026-08-24
作者对比了两个时间点:2024 年,一台配备 RTX 4090 的游戏 PC 以 4-bit 量化运行 Llama 3 70B,速度仅约 2 tok/s;到 2026 年,配备 RTX 5090 的游戏 PC 已能以原生 mxfp4 量化运行 DeepSeek-V4-Flash 284B,速度达约 24 tok/s——两年间速度提升约 12 倍,参数量还翻了 4 倍。作者据此预测:到 2027 年底,游戏 PC 将能以不错的速度本地运行接近 Fable 5 级别智能的模型。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元,设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic,网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能:降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API:兼容 Tinker SDK,成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算:AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16