GPU+CPU+SSD 混合本地推理实测：57 tok/s、2.5 秒首 token
HankYeomans · x · 2026-10-12
开发者 Hank Yeomans 分享其正在搭建的 GPU+CPU+SSD 混合本地推理方案：目前达到 57 tok/s 的生成速度和约 2.5 秒的 TTFT（首 token 延迟），他表示仍有优化空间。对关注本地/端侧部署与推理栈优化的开发者有参考价值。
「Infra」频道最新
- Cloudflare Workers 调 Gemini 偶报 400:根因是机房路由落在香港 — sujingshen · 2026-10-12
- 2x DGX Spark 跑 DeepSeek v4.1 Flash:代码 103 tok/s 全场最快 — EAccelerate_42 · 2026-10-12
- 开源 ColGrep-Agent-2B 实测:本地检索替 Claude Code 省 34% token、40% 成本 — IgorCarron · 2026-10-12
- 英国大臣力推硬件验证 AI 能力，押注本国半导体设计优势 — S_OhEigeartaigh · 2026-10-12
- GPU 租金半年涨 27%,固定智能价格暴跌 63%,推理经济背离加剧 — jon_durbin · 2026-10-12
- 博通 CEO 押注 Anthropic 与 OpenAI 成败， commentators 质疑转述失真 — firstadopter · 2026-10-12