本地工具 Neshter:可视化注意力头贡献、对照随机头测量后剪枝

Bayqus · reddit · 2026-11-22

开发者发布本地工具 Neshter(Apache-2.0 开源),可在自己机器上观察小型 LLM 每个注意力头的作用并测量、剪除:无云端 API、无账号、无遥测。

核心功能

限制:面向小型模型(设计上限约 8B,作者主要在 0.1-3B 上使用);需要 eager attention;GPU 放不下就用 CPU;已在 Windows 和 Linux(CPU)测试,macOS 未测;Android 版需自行源码编译;v0.2 一人项目。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →