用残差流解释新方法做标签聚类，效果胜过末层 k-means
amplifiedamp · x · 2026-10-20
作者 amplifiedamp 介绍了一项机器学习可解释性（mechinterp）实践：将朋友开发的一种残差流（residual stream）解释方法应用于基座模型的残差流，得到比在最后一层上做 k-means 聚类更有用的标签（tag）聚类结果。
基于这些聚类，他进一步构建了一个树状图（dendrogram）和一个搜索引擎。不过由于所用数据集是 EAG NYC 与会者数据，内容较无趣且不可公开分享，搜索引擎无法对外发布。
所属事件:残差流解释聚类新方法优于末层 k-means(2 条相关)→
「研究」频道最新
- OpenTac 上传 3D 模型 3 秒生成触觉传感器柔性电路,覆盖 93% 面积 — anand_bhattad · 2026-10-23
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23