NNsight 0.8 预发布:全新执行引擎实现近原生吞吐
David Bau 宣布可解释性研究平台 NDIF 的 NNsight 0.8 预发布版上线。该版本重写了执行引擎但保持 API 不变,支持包括 MoE 在内的更多模型,覆盖 HF Transformers 全部任务,并可在 vLLM 上进行可解释性分析,达到接近原生的吞吐速度。
2026-09-10 ~ 2026-09-10 · 2 条相关
- NNsight 0.8 预发布:vLLM 近原生速度与 MoE 支持 — davidbau · 2026-09-10
- NNsight 0.8 预发布:vLLM 近原生吞吐白盒推断引擎亮相 — gsarti_ · 2026-09-10