新预印本:估 LLM 嵌入维度别用 PCA,EGA 恢复率达 97.6-100%
GolinoHudson · x · 2026-09-30
Golino 等人发布预印本,系统性结论:不要再用 PCA 估计 LLM 题目嵌入的维度结构,应改用探索性图分析(EGA)。
实验设置:
- 3 个 LLM(GPT-4o、GPT-5.4、Claude Sonnet 4.6)
- 2 个嵌入模型(OpenAI text-embedding-3-small、Jina v3)
- 6 个已知人格维度,数百次 Monte Carlo 重复,外加用多维分裂样量表做的真实数据复现
核心结果:
- EGA 在 97.6-100% 的条件下正确恢复 6 维结构;PCA+Kaiser 与 PCA+Parallel Analysis 的精确恢复率几乎为 0%
- 对真实的 6 维结构,PCA 常估计出 8-24 个维度。作者解释这并非 PCA「垃圾」,而是题目数少产生长尾「噪声维度」,特征值法系统性过提取
- 其 AI-GENIE 包的网络过滤方法暴露两个问题:冗余≠结构不稳定,UVA(Unique Variable Analysis)负责去冗余、bootEGA 负责识别维度位置不稳定的题目,不同 LLM 在两种失败模式上表现差异明显
- 在真实心理量表上,EGA 在两种嵌入模型下都比 PCA 更接近人类作答基准
作者:Luis Eduardo Garrido、Lara L. Russell-Lasalandra、Cristóbal Rodríguez-Montoya、Hudson F. Golino。
所属事件:新研究：估计 LLM 嵌入维度结构应弃 PCA 用 EGA(2 条相关)→
「研究」频道最新
- 扩散模型原理教程入选 NeurIPS 2026，团队另中 7 篇论文 — mittu1204 · 2026-09-30
- UCL 发布 AMB3R-SLAM：消费级 GPU 实时重建公里级轨迹，误差降 70% — rsasaki0109 · 2026-09-30
- 提出 Prefix-Reuse FLOPs:任意上下文编辑让前缀缓存失效成本显形 — RulinShao · 2026-09-30
- 腾讯混元发布 ExplorationBench:用外星世界测 AI 探索能力 — TencentHunyuan · 2026-09-30
- 全开源机器人模型 MolmoAct 2 登顶 Reality Check 动态鲁棒性榜 — DJiafei · 2026-09-30
- CompVis 改进分布扩散模型，ImageNet 上 4 步采样达 4.48 FID — CompVis · 2026-09-30