4GB 显存求推荐：擅长写作的小型本地 LLM 怎么选

Mysterious-Comment94 · reddit · 2026-09-14

一位用户在 Reddit 求助小型写作模型选型。他目前在 Ollama 上跑 Llama 3.2 3B Q4（速度很快），硬件仅 4GB VRAM / 16GB RAM 的 3050 Ti 笔记本。规划是后续加 RAG 检索写作素材，再在上面搭一个类似 Jarvis 的研究助手。他提到当天刚发布、口碑不错的新模型 MiniCPM5 可能超出他的硬件，也没找到专门针对创意写作的小模型 benchmark。回帖建议集中在 4GB 显存下 Qwen 系列小模型与写作微调模型的量化版本，指出创意写作没有权威跑分、只能靠实测。