Intel N100 + RTX 5060Ti：打造 40W 极低功耗本地推理服务器
chiribe · reddit · 2026-08-11
一名开发者分享了使用 Intel N100 主板和 RTX 5060Ti 显卡，搭建高效且极低功耗的本地大模型推理服务器的完整实践。
- 硬件改造：为了解决显卡与主板 SATA 接口的物理冲突，作者使用 PCIe 延长线将 GPU 移至机箱外部。
- 推理性能：在 llama.cpp 环境下，该配置可满血运行 Ornith-1.0-9B（80 tokens/s）和 Qwen3.6-27B（40 tokens/s，支持 65k 上下文）。
- 功耗表现：待机功耗低于 40W，进行重度推理时功耗也控制在 200W 以内，实现了 24/7 低成本运行 OpenAI 兼容 API。
「Infra」频道最新
- 单张二手GPU算力比肩Claude 3 Opus，本地AI部署潜力被严重低估 — DynamicWebPaige · 2026-08-12
- CoreWeave 无服务器推理上线 Nemotron 3.5 Lightning — wandb · 2026-08-12
- AWS 发布企业级 Claude 应用网关部署参考架构 — AWS ML Blog · 2026-08-11
- NVIDIA 专家：多 token 技术已成推理优化标配 — PavloMolchanov · 2026-08-11
- 2.6 万美元双 RTX 5090 工作站主打本地跑前沿模型 — dee_hw · 2026-08-11
- NVIDIA Nemotron 3.5模型上线Crusoe，主打高并发智能体推理 — Scobleizer · 2026-08-11