非营利组织想用 Qwen 处理日常文书:本地部署硬件怎么选

DerAndi_DE · reddit · 2026-09-01

一位 Reddit 用户为非营利组织寻找可本地部署的 LLM,需求包括文档/邮件摘要与起草、基于指定文档集的 RAG、印刷与手写 OCR、英法德互译,以及帮电脑小白用户生成 LibreOffice 表格等办公文档。

他已在旧服务器(Xeon E5-2665v4、96GB 内存、两张 P106)上实测 Gemma3-26B,效果超出预期、速度可接受;Qwen3.5-35B-A3B 偏慢。预算可上两张 RTX 3060 12GB,或单张 V100 32GB / 两张 RTX 5060 Ti 16GB,发帖询问 Qwen3.8 是否适合这类任务及实际使用经验。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →