对基座模型残差流做解释聚类，作者搭出树状图搜索引擎
amplifiedamp · x · 2026-10-20
作者 amplifiedamp 介绍了一个可解释性小实践：他没有在基座模型最后一层残差流上做普通的 k-means 聚类，而是应用朋友开发的一套残差流解释方法，得到了比 k-means 更有用的标签（tag）聚类。
基于这套聚类，他进一步构建了一个树状图（dendrogram）浏览界面和一个搜索引擎。不过由于测试数据集是 EAG NYC 与会者数据，既无聊也不可公开，所以搜索引擎无法分享；他表示手头还有更有趣的内部数据集可以跑，但暂不打算公开结果。
所属事件:残差流解释聚类新方法优于末层 k-means(2 条相关)→
「研究」频道最新
- 研究：Agent 面试式筛选可过滤错位模型，团队保持 81-83% 干净 — shangbinfeng · 2026-10-23
- 论文《You're Hired》：能力感知选模型，多 LLM 团队最多提升 36.1% — shangbinfeng · 2026-10-23
- 多 LLM 组队实验细节：10 与 32 模型候选池，四种协作算法 — shangbinfeng · 2026-10-23
- 研究：按个体能力选最强模型组队反而翻车，落后随机 20 分 — shangbinfeng · 2026-10-23
- 研究提出 9 种策略为多 LLM 协作选模型，最优可超随机 36.1% — shangbinfeng · 2026-10-23
- 无反向传播预训练 Transformer:10 天从 1.76 小时压到 1.6 秒 — mayfer · 2026-10-23