开源推理引擎 Spite：模型、GPU、算子三层全部模块化可插拔
giveen · reddit · 2026-10-05
开发者发布 Rust 编写的模块化推理引擎 Spite（开源），核心设计规则是「每一层都可以独立替换而不影响其他层」。
- 模型即模块：内核按 kernels/<家族>/<模型>/ 组织（如 llama4、deepseek/v4、qwen35），新增模型只需加文件夹，dispatcher 自动发现。
- GPU 即模块：同一家族的内核按显卡分目录（sm89、rdna3、Apple M4），各自利用 FP8 tensor core、96MB Infinity Cache 或 Neural Engine 等硬件特性，不做通用妥协。
- 算子级调优：内核可只优化 attention，FFN/rmsnorm 走 fallback；不同人的优化自动叠加，dispatcher 为每个算子选最优内核。
- 全子系统可插拔：sampler、tokenizer、KV cache、offload 策略均为插件注册表；各组件可独立使用，无需拉起完整服务栈。
「Infra」频道最新
- Muse 修复定时任务恢复故障，并强化 cron 监控与 VM 调度 — alexandr_wang · 2026-10-05
- AWS 误封账号且无解释，AI 产品 Wabi 全线宕机超 3 小时 — soleio · 2026-10-05
- Strix Halo 是不是最接近「梦幻本地 LLM 主机」？统一内存 vs 显卡之争 — Robert__Sinclair · 2026-10-05
- 4 张 RTX 6000 跑 DeepSeek 达 539 tok/s，发帖人自曝跑分注水普遍 — HankYeomans · 2026-10-05
- 双 DGX Spark 本地跑 GLM 5.3 flash：新配方解码提速 50-90% — swiebertjee · 2026-10-05
- 高通骁龙将为 Meta 与 OpenAI 下一代 AI 助手提供算力 — ryanshrout · 2026-10-05