3 张二手 V100 跑 Qwen 近 400 tokens/秒
jfinkpottery · reddit · 2026-10-27
Reddit 用户 jfinkpottery 自研推理引擎 sfnx，在老旧 Dell R740 服务器里塞 3 张 V100 32GB（Volta 架构），让 Qwen-Flash-Next 跑出近 400 tokens/秒的生成速度。项目从 strata 分叉而来，但引擎核心是为老一代 Volta GPU 从头构建的，展示了用廉价二手硬件跑新模型的可行路线。代码已在 GitHub 开源。
「Infra」频道最新
- 深度解析 Weka 如何突破 Nvidia 的 AI 内存瓶颈 — AccBalanced · 2026-10-27
- Anthropic 背 4750 亿美元算力合约,OpenAI 到 2030 年拟投约 7500 亿 — kyliebytes · 2026-10-27
- 首个数据中心噪音系统研究:25 座超大规模机房中 17 座无可信投诉 — AndyMasley · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 开发者抱怨 npm 新包上线要等 20 分钟，疑为防 AI 攻击限流 — cocktailpeanut · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27