双3090实测Qwen3.8-27B：20万上下文与F16 KV部署细节
Sisuuu · reddit · 2026-08-15
用户在双 RTX 3090 (24GB2) 上实测了 Qwen3.8-27B 的 Q8KXL 量化版，成功开启了 200K 上下文窗口，并保留了 F16 KV Cache 和视觉能力。文章详细解释了因混合架构（64层中16层全注意力+48层线性注意力）带来的内存节省与配置挑战，分享了针对 llama.cpp 的完整启动参数（含 Speculative Decoding 设置），并指出在当前硬件限制下，为保证稳定性需预留约 10% 的显存偏移空间，最终实现了代码 73 tok/s、散文 58 tok/s 的生成速度。
「Infra」频道最新
- 用 Void 加 fate 一天搭出完整 vibe coding 平台并部署到 Cloudflare — cnakazawa · 2026-10-16
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16