研究者可视化 Qwen 2.5 嵌入空间,称主流模型对话能力正在变平
arianaram · reddit · 2026-09-04
做可解释性研究的 Reddit 用户 arianaram 发布了一张 Qwen 2.5 7B 输入嵌入空间的等高线图,称为「Embedding Sea」:模型词表中每个词都有位置,密集簇形成「山脉」,稀疏区域成为「海洋」。有趣的是「terrible」「splendid」「cruel」互为邻居,按强度而非情感聚类;「sexual」和「financial」共享一座山。这是推理开始前、模型读到任何 prompt 之前的底层地貌。
「研究」频道最新
- 球面不动点推理器 SFPRM：让循环 Transformer 学会自己停 — GabGarrett · 2026-10-21
- KAIST 与 Meta 提出可编程检索框架 RPL，4B 模型胜过全部 8B 基线 — CShorten30 · 2026-10-21
- AI2 发布 FairStress 基准：测出模型公平性评估中的隐性不对称 — allen_ai · 2026-10-21
- AI2 推出 FairStress：不只看模型决策结果，还测它对谁换了标准 — allen_ai · 2026-10-21
- Perplexity 发布 Decider V1.2：登顶 Vals AI 决策模型榜 ClaimBench — bo_wangbo · 2026-10-21
- 给基因模型「泄题词」全删后成绩几乎不变,LitGene 过严格盲测 — bravo_abad · 2026-10-21