RTX 4090 本地跑 Qwen 27b 编程:速度超 Opus,瓶颈是显存
julianharris · x · 2026-09-23
作者分享在 RTX 4090 24GB 上本地运行 Qwen 27b 做编程的一手体验:
- 能力足够:远超 2025 年 11 月之前所有编程模型,本地速度常达 Opus 的两倍。
- 多会话切换:切换会话会触发大量缓存刷新,且一次只能一个;Qwen 4 的缓存结构更乱、更难共享。
- 图像处理:提交图片占用大量内存。
- 速度衰减:dense 模型上下文每翻倍(16-32-64-128k)速度减半,Flash next / Qwen 4 更好。
- 会话恢复:本地恢复或切换会话可能要等一两分钟。
结论:最大瓶颈是显存,而现在正是显存昂贵的糟糕时期,只能先用着。
「编程与Agent」频道最新
- dots 更新支持 agent 同时控制 Windows 与 Mac 双机 — dkundel · 2026-11-12
- Granola 推出 Agent Briefs:每晚为 AI agent 打包你的最新上下文 — soleio · 2026-11-12
- 新基准 Continual-ARC:主流 Agent 均无法从经验中学习 — alifcoder · 2026-11-12
- KubeCon 前夕 Azure Day:AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- OpenShell 实用技巧:一条命令把沙箱内 Web 应用暴露到浏览器 — gethackteam · 2026-11-12
- 开发者打造「智能操作系统」:模型与智能体直接内建于 Linux 桌面系统 — NerdyRodent · 2026-11-12