RTX 3060 + 32GB 内存跑本地 AI 编程助手:实测体验颇为坎坷
GoalHefty3604 · reddit · 2026-11-19
一位用户在 RTX 3060 12GB + 32GB DDR4 的无头 Linux 机器上用 Ollama 搭建本地 AI 编程服务,并配合另一台电脑上的 Qwen Code 实测 qwen2.5-coder:14b。
- 14b 模型上下文实际只能到 32K,每条消息后都触发压缩;把 Qwen Code 的上下文窗口伪报成 128K 可避免频繁压缩,但工具调用随之失灵,要么要求复制粘贴、要么直接输出 JSON 文本而不执行工具
- VS Code 的 Continue 扩展:1.5b 模型做自动补全能跑但效果迟钝;14b 聊天可用但同样有工具调用问题
- 作者结论是整体质量低、怪毛病多,询问该硬件下是否还有改进空间
「编程与Agent」频道最新
- 小模型微调实战建议:30B 起步单卡可跑,LoRA 实验成本低 — ziv_ravid · 2026-11-19
- 别默认上 LLM:分类问题用分类模型,接文本编码器成新热点 — ziv_ravid · 2026-11-19
- 训练前先验证:把轨迹提炼成技能喂进上下文重跑评测 — ziv_ravid · 2026-11-19
- 从动机到数据到评测:工程师长文拆解企业级 post-training 全流程 — ziv_ravid · 2026-11-19
- MCP 工具超过 10 个就选错?作者主张精简列表+写清何时不该用 — Minute-Age9938 · 2026-11-19
- AI Agent 把浏览器优化到 16MB 内存 arm32 芯片上跑网页 — moyix · 2026-11-19