NNsight 0.8 发布:vLLM 成一级运行时,执行引擎重写提速
gsarti_ · x · 2026-10-19
NDIF 团队发布 NNsight 0.8,这是该可解释性库迄今最大版本,执行引擎从零重写,API 用法不变(仍用 model.trace(...) 读写模型内部)。
- vLLM 成为一等运行时:优化后的 tracing 在跨大量层和 token 位置提取/干预激活时扩展性良好,面向真实场景的可解释性工作流迈出一大步
- 统一 TransformersModel:基于 transformers.pipeline,Whisper 等语音模型、LLaVA/Qwen3-VL 等视觉模型、BERT 编码任务及 PEFT 适配器都可用同一套代码做 trace
- 性能:用 greenlet 替代 OS 线程交错执行代码与前向传播,单次读取开销降低约 3 倍且随触及模型范围增大保持平稳
- 其他更新包括 .source 深入前向传播、多 GPU 模型支持等
「研究」频道最新
- ICLR 2027 现重名桌拒事故：同姓名投稿遭连坐拒稿 — LesterMackey · 2026-10-19
- ELLIS x UniReps 讲座:AI 模型表征的普适 steering 方法 — ClementineDomi6 · 2026-10-19
- Looped Transformer 越循环越差？团队定位「潜在过度思考」并给出修复 — KyeGomezB · 2026-10-19
- 机器人模型为何比 LLM 更难评测：RoboDojo 揭示 GPT-6 榜单第一的真相 — binarybits · 2026-10-19
- 微软发布 DevAX:实测发现新模型编码质量更差、token 贵 12 倍 — DanWahlin · 2026-10-19
- Pathway 发布「推理方程式」，试图为智能泛化建立数学理论 — schwentker · 2026-10-19