本地跑满血 DeepSeek 需要什么硬件?社区热议并发方案
whoami-233 · reddit · 2026-08-01
一位开发者在社区求助,希望寻找最便宜且易于维护的硬件方案,以在本地运行满血版 DeepSeek 模型。
其核心需求包括:单次请求生成速度至少达到 25-30 tokens/s,支持至少 8 个并发请求(最好能支持 16 个),且需处理约 200k tokens 的长上下文智能体任务。作者初步考虑使用双 DGX Spark 配置,并向社区征集更优的硬件建议。
「Infra」频道最新
- Meta工程师分享 MLSys 演讲:用 AI 解放系统研究员 — salykova_ · 2026-08-01
- 亚马逊单日暴涨创纪录,预测市场押注2026资本支出超2000亿 — Polymarket · 2026-08-01
- StudyFetch借助NVIDIA Riva将AI推理成本降低近10倍 — nvidia · 2026-08-01
- 4×3090显卡组建本地AI工作站:2026年仍是性价比之选吗? — davyjones10Y · 2026-08-01
- Intel 开放 CDNA5 指令集架构 — xiaosun86 · 2026-08-01
- Polymarket 设定 AI 泡沫破裂条件:英伟达暴跌 50% — Polymarket · 2026-08-01