小企业本地部署求模型推荐:ZGX Nano 跑 Qwen 后还想更准
Maschinhunt · reddit · 2026-09-16
楼主为小企业搭建本地 AI 系统,硬件为 ZGX Nano G1N AI Station,当前跑 Qwen 3.6 35B A3B(nvfp4),还剩约 40-50GB 内存。主要用途是文档处理、日常问答和编程,希望比现在的模型更准,考虑 Gemma 4 或 Qwen 3.8 27B。已配好 MCP + SearXNG 联网搜索,另外想了解是否有自带 RAG 的模型,还是需要在 Open WebUI 里单独搭 RAG。
「Infra」频道最新
- Creative Strategies 看多 Credo:光子芯片+SerDes 垂直整合是增长关键 — BenBajarin · 2026-09-16
- Ocean Protocol 推出按小时计费的专用 GPU 推理服务,H200 低至 2.16 美元/时 — w1kke · 2026-09-16
- Signal65 实测 NVIDIA Vera CPU:agent 任务生命周期比 x86 快 1.64 倍 — ryanshrout · 2026-09-16
- 用 Tailscale 和一个 PWA,AI 智能体在你离开电脑后继续干活 — johnlindquist · 2026-09-16
- DeepSeek V4.1 Flash 跑长 Agent 任务屡屡超时,作者公开详细故障数据 — sebnadeau · 2026-09-16
- 800V DC 成数据中心必然归宿,AI 机柜功率催生供电重构 — BenBajarin · 2026-09-16