研究者可视化 Qwen 2.5 嵌入空间,称主流模型对话能力正在变平

arianaram · reddit · 2026-09-04

做可解释性研究的 Reddit 用户 arianaram 发布了一张 Qwen 2.5 7B 输入嵌入空间的等高线图,称为「Embedding Sea」:模型词表中每个词都有位置,密集簇形成「山脉」,稀疏区域成为「海洋」。有趣的是「terrible」「splendid」「cruel」互为邻居,按强度而非情感聚类;「sexual」和「financial」共享一座山。这是推理开始前、模型读到任何 prompt 之前的底层地貌。