4×AMD V620 跑 DeepSeek-V4-Flash:300K 上下文,生成 21 tok/s
Thin_Pollution8843 · reddit · 2026-08-15
用户用 4 块 AMD Radeon Pro V620(共 128GB VRAM)运行 DeepSeek-V4-Flash-0731 的 IQ3XXS 量化版,配合 DSpark 投机解码。32K prompt 摄入速度 276 tok/s,短 prompt 摄入 379 tok/s,连续生成 21 tok/s,接受生成 30.6 tok/s。但 q3xxs 量化导致模型“变傻”,且 VRAM 不足无法放置 drafter。
「Infra」频道最新
- 用 Void 加 fate 一天搭出完整 vibe coding 平台并部署到 Cloudflare — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练:GRPO 150 步崩塌,SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16