Tiny Aya 表征机制解析
Cohere_Labs · x · 2026-07-15
这篇社区博客由 @LifeHodlr、Matthew Nguyen 和 @mychiffonn 合作，围绕 **Tiny Aya** 的内部表征展开分析。 文章重点是用 **Sparse Autoencoders** 观察模型内部的表示密度差异，并识别出**语言相关特征**。核心看点不是单纯展示结果，而是借这个方法去理解小型多语模型内部到底学到了什么、不同语言的特征是否会在表征空间里呈现不同结构。 整体属于偏研究向的长文，适合想看机制分析和可解释性方法的人。