单张 RTX 5090 跑 27B 去审查模型：160K 上下文，140-190 tok/s
Fz1zz · reddit · 2026-09-16
一篇详细的本地部署实录：在单张 RTX 5090 上跑 Qwen3.8-27B 的 uncensored 版本（RVN Heretic，ARA abliterated，Q6K 量化），实现约 160K 上下文、带工具调用与视觉能力的长 agent 编程会话。
关键数字（2026-09-16 实测）：
- DFlash2 推测解码（n=4）：代码生成 140-190 tok/s，散文约 100 tok/s；无推测解码仅 62 tok/s
- 冷 prefill：32K 需 11.7s，64K 需 28.6s，约 113K 需 60s
- 显存：加载后约 30 GB，首张图片后约 30.3 GB
- 量化后 KL 0.0085，每 100 次仅 0-1 次拒答
配置要点：
- 需要 llama.cpp master 的 DFlash2（#27342）与图片推测修复（#28715）两个已合并 PR
- K/V 缓存均用 q80；--cache-ram 16384 把已停放的 prompt 状态放系统内存，长对话免重 prefill
- 需关闭 CUDA graphs（5090 上会触发 Xid 8 挂起，#27330）；勿加 --swa-full
- 文中给出完整下载命令与 llama-server 启动参数，可直接照抄
「编程与Agent」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 开发者指出:编码不再是瓶颈,使用量窗口才是 — kylegawley · 2026-11-02
- demo 通过≠可上线:让 Agent 接管业务前必答的五个问题 — _kellhus · 2026-11-02
- AI agent 通过 100 次测试，为何仍不能接管业务 — djgoel123 · 2026-11-02
- 让 Agent 全权创作:纯代码产出 1 分 44 秒动画短片《最后的园丁》 — ivegotnoidea1 · 2026-11-02
- 起床、用 Claude Code、睡觉：梗图调侃一天全靠它 — tekbog · 2026-11-02