硬核便携数据中心：Qwen3.8-27B 跑 20 万上下文实测
Special-Wolverine · reddit · 2026-08-26
作者分享了一套用于运行 Qwen3.8-27B-BF16（支持 20 万+ 上下文）的便携式本地算力方案，所有设备可装入午餐盒。硬件核心为 Ryzen 7745HX CPU 搭载 96GB 显存的 RTX Pro 6000 Blackwell 显卡。实测显示，在处理 17.5 万 token 预填充时速度达 1715 tok/sec，生成速度为 45 tok/sec，温度控制良好（GPU 79°C）。作者指出 BF16 精度在法律文档 OCR 等高敏感场景下显著优于量化版本，效果超越 Gemini Pro 和 ChatGPT 5.6 Sol。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15