NNSight 0.8 发布:大模型可解释性采集速度远超 vLLM-Lens
gsarti_ · x · 2026-09-10
可解释性工具 NNSight 发布 0.8 版本,性能大幅提升。团队在 Llama-3.1-70B(tp=4)上用 10 个任务对比 interp-engine 与 vLLM-Lens:逐层逐步采集激活时,NNSight 的 taps 达 35 tok/s(vanilla 37),而其他方案仅 7-10 tok/s。此外,归零 attention head、覆写采样 token 等干预操作是其他工具完全做不到的,做大模型 interp 的值得关注。
「Infra」频道最新
- Boring Company 融资 30 亿美元，估值 230 亿转向全球基建 — XFreeze · 2026-09-10
- 华为昇腾 950DT 涨价 20%-50%，黑市 HBM 更贵数倍 — teortaxesTex · 2026-09-10
- Google 签 22 年协议包下芬兰核电站一半出力,总额 130 亿欧元投资 — Servola-Journal · 2026-09-10
- GPU 稀缺真正痛点：算力被当 3 年期整块期货卖 — kevinakwok · 2026-09-10
- 印度数据中心将扩至 6GW，西孟加拉邦拟开放 18 个工业园用地 — HimanshiET · 2026-09-10
- DGX Spark 实测:Ling-3.0-flash 长上下文下 llama.cpp 反超 vLLM 六倍 — niacolhealth · 2026-09-10