魔改 2080 Ti 22G 专精引擎 NInfer v0.3.0:原生 Windows、体积砍到 0.28GB
xrailgun · reddit · 2026-10-30
面向单张魔改 22GB RTX 2080 Ti 的本地推理引擎 NInfer(Turing 分支)发布 v0.3.0,专为运行 Qwen3.6/8-27B 稠密模型设计(仅用显存、不支持系统内存卸载,故不兼容 35B-A3B)。新版改进:
- 原生 Windows 支持:不再需要 Linux/WSL2/Docker,省去分区和释放内存的麻烦
- 提供预编译包:可下载 zip 一键脚本运行,不再强制自己配 CUDA/Visual Studio/FFmpeg 编译
- 精简代码路径:移除 5090、FP8、FP4、35B-A3B 等不可达代码,二进制从 1.56GB 缩到 0.28GB,编译从数小时缩到几分钟,输出保持位级一致
功能与实测数据(Windows 11、单请求、64k 上下文 INT8 KV cache,权重占 15.4GiB):
- 提供 OpenAI/Anthropic 兼容 API 和命令行工具,支持图像/视频输入、思考模式、CUDA Graph 解码,默认开启 MTP 投机解码
- prefill:短提示 616 tok/s,64k 提示 458 tok/s
- decode:无 MTP 27.0 tok/s;真实代码提示 MTP 下 47.5 tok/s(不开 26.3),散文提示 MTP 下 28.8 tok/s
- 结论:MTP 对代码生成提速明显,对散文几乎无益
Apache-2.0 开源,衍生自 Neroued/ninfer。
「Infra」频道最新
- Rust 自托管 Git 平台让编码 Agent 拥有独立账号与最小权限令牌 — Barmazoid · 2026-10-30
- 8GB 笔记本 RTX 4070 跑 WanGP,19 秒视频渲染要 43 小时 — Pnarpok · 2026-10-30
- vLLM 联手 SkyRL 实现 Mistral Large 4 Day-0 强化学习，8 节点 GB200 上 AIME 从 64% 提到 75% — vllm_project · 2026-10-30
- 2 卡 1600W、4 卡 3000W：本地多 GPU 供电清单先查电箱 — dee_hw · 2026-10-30
- 开源端侧模型 Edge0:35B 参数离线跑 iPhone,仅需 1-2.5GB 内存 — FinanceYF5 · 2026-10-30
- 市场惩罚「无现金流的高额资本开支」：16 只 AI 股 11 只跌超 19% — pdamodaran · 2026-10-30