3 块二手 V100 跑出近 400 token/s,自研引擎 sFNX 回应质疑
jfinkpottery · reddit · 2026-10-27
作者此前声称接近 400 tokens/s 的本地推理速度遭质疑被封禁,现发帖解释:MTP(多 token 预测)在不同 prompt 下速度差异很大,「编辑这个 Python 文件」类场景实测 376 tokens/s(最快见过 404),而散文推理场景约 140 tokens/s——后者也已是同类硬件上其他引擎的两倍。
配置:自研 sFNX 引擎(基于 strata/llama 重写引擎代码)运行 flash-next Q4XL 量化模型,3 张 V100 32GB(每张约 600 美元)+ 一台近 10 年的 Dell R740(准系统约 500 美元)。调优后大部分专家层放入显存即可高效运行。
「编程与Agent」频道最新
- 12.5K 星 GitHub 仓库：纯 PyTorch 手写从预训练到 GRPO 全流程 — techNmak · 2026-10-27
- Lossfunk 驻留第9期收官:Parseltongue 把大代码库压成5%体量的导航图 — paraschopra · 2026-10-27
- Parseltongue 把大代码库压成 5% 大小的图谱供 AI agent 导航 — paraschopra · 2026-10-27
- InferNEON 用裸机 Rust 内核把 MoE 模型塞进廉价开发板 — paraschopra · 2026-10-27
- RTX 4070 Ti SUPER 跑出 125 token/s,本地 LLM 编码 agent 实战攻略 — ievkz · 2026-10-27
- CueVoice 创始人要把 macOS 听写应用升级为 AI 幕僚长 — paraschopra · 2026-10-27