RTX Pro 6000 上 Ninfer 跑 Qwen3.6 35B 达 600 tok/s
CharlesStross · reddit · 2026-09-18
Reddit 用户报告在 RTX Pro 6000 上用 Ninfer 对 qwen3.6 35BA3B 实现单请求 600 tok/s 的生成速度。作者将其当作「苦力型」模型用于读取查找和可容忍暴力试错的编码任务:即便 token 用量多 20 倍,仍比许多本地模型快,速度接近 Cerebras 服务水平。
「Infra」频道最新
- 开源 gpu-unlock 项目让 GeForce AI 推理提速最高 2 倍 — paranoidray · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 用一句提示词让 AI 排查跨区流量：迁移服务省掉跨大西洋延迟 — DanielLockyer · 2026-11-04
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04