推理引擎 Infernix 发布新版:针对 RTX 5090 优化 Qwen3.8 模型本地运行
Suspicious-Mark-5450 · reddit · 2026-11-01
开发者 Wallawalla47 发布了单 GPU 推理引擎 Infernix 的大版本更新,专为在 RTX 5090 上运行最新 Qwen 架构模型优化,Windows 为一等公民,下载即可用(GitHub 169 stars)。
主要更新:
- 新增多款量化模型:Qwen3.8-Flash-Next 的 NVIDIA QAD FP4 版(支持 --a4-activations 进一步提速)、GSQ-RCO-IQ3S 版(更快但质量略有损失)、Swift 1.5 NVFP4、完整 FP8(慢但与官方 FP8 位精确一致)、以及 Ornith 1.5 122B NVFP4(跑分亮眼但作者尚不确定其实力)与无审查版。
- 新增 DFlash2 drafting 投机解码支持。
- 新增 WebUI Launcher(beta):提供模型下载、配置、模型切换 API、统计面板与快速测试聊天界面,类似 LM Studio 的使用体验。
- 投机解码自动配置(--spec auto),基于校准设置在不同文本类型上给出最佳解码速度。
- 多项速度与质量优化,整体速度显著超过 Strata,偶尔超过 Basalt,且默认避免牺牲质量的优化(如 expert tail skipping)。
- 新增 --lossless 模式:完全可复现,层内计算与训练精度(通常 BF16)位精确一致,FP32 logits。
「Infra」频道最新
- Bittensor 子网一周上线 18 项进展：Targon 销毁 210 万美元、B300 低至 4 美元/小时 — bittingthembits · 2026-11-01
- Jepsen 审计 ParticleDB:vibe-coded 数据库爆出 96 个问题 — tianyin_xu · 2026-11-01
- 亚特兰大在建数据中心容量登顶北美，北弗吉尼亚空置率仅 0.2% — shashib · 2026-11-01
- YC F26 公司 VirajAero:航空涡轮改供数据中心,同燃料多发电 40% — ycombinator · 2026-11-01
- 芬兰对谷歌为建数据中心清林启动刑事调查 — SnoozeDoggyDog · 2026-11-01
- 分析师：自建超大规模训练集群是 Meta 蚂蚁押注太空算力的共同逻辑 — BenBajarin · 2026-11-01