本地工具 Neshter:可视化注意力头贡献、对照随机头测量后剪枝
Bayqus · reddit · 2026-11-22
开发者发布本地工具 Neshter(Apache-2.0 开源),可在自己机器上观察小型 LLM 每个注意力头的作用并测量、剪除:无云端 API、无账号、无遥测。
核心功能
- 加载模型后显示各头对下一 token 贡献的热力图,可挑选头并测量关闭后与同层随机头基线的差异,满意则保存为新模型文件;
- 一键示例:对 Qwen2.5-0.5B-Instruct 关闭「The capital of France is」最强的两个头,「 Paris」概率从 30% 降到 25%;核心是随机基线对照——热力图上看起来重要的头,实际剪掉未必重要;
- 「寻找行为」模式:给出有/无某行为的样本,工具排序承载该行为的头并逐一测量;另有热力图与信息流的 3D 视图。
限制:面向小型模型(设计上限约 8B,作者主要在 0.1-3B 上使用);需要 eager attention;GPU 放不下就用 CPU;已在 Windows 和 Linux(CPU)测试,macOS 未测;Android 版需自行源码编译;v0.2 一人项目。
「研究」频道最新
- 十个月前还有人问 AI 能否先解出千禧年大奖难题 — haider1 · 2026-11-22
- Fable 5.2 直接改写权重,让只会右侧行驶的模型学会左行 — 4310sy · 2026-11-22
- IceCube 中微子众包挑战落幕,65 名志愿者助 AI 分类信号 — CatAstro_Piyush · 2026-11-22
- Michael Levin 曝光生物电初创 Morphoceuticals 进展 — drmichaellevin · 2026-11-22
- Reddit 长文:控制论视角下的「自然无外界」宣言 — Cyborgized · 2026-11-22
- Domingos 调侃:数学家让人类而非 LLM 核对证明,痛失百万美元 — pmddomingos · 2026-11-22