用 LLM 嵌入做心理测量:EGA 完美还原六维结构,PCA 几乎全败
GolinoHudson · x · 2026-10-06
- 作者团队在生成式心理测量中系统比较了 PCA 与网络方法 EGA(探索性图分析)在 LLM 条目嵌入上估计维度结构的能力。
- 实验覆盖 3 个 LLM(GPT-4o 等)、2 个嵌入模型(OpenAI text-embedding-3-small 与 Jina v3)、6 个已知人格维度,包含数百次蒙特卡洛模拟和用多维分裂样量表做的实证复现。
- 结果:EGA 在 97.6–100% 的条件下正确还原 6 维结构;PCA+Kaiser 与 PCA+平行分析的精确还原率接近 0%,PCA 常把 6 维结构估成 8–24 维。
- 原因分析:条目数较少时会产生长尾的「滋扰维度」,基于特征值的方法因此严重过度提取,即便底层条目分组大体完好。
- 团队的 AI-GENIE 包还发现 AI 生成条目池的两个独立问题:冗余 ≠ 结构不稳定。UVA(Unique Variable Analysis)用于去冗余条目,bootEGA 识别维度归属不稳定的条目;不同 LLM 在这两种失败模式上表现差异明显。
- 在真实心理量表上,EGA 在两种嵌入模型下都显著更接近人类作答基准。论文为 preprint:《Estimating Dimensional Structure in Generative Psychometrics》。
所属事件:研究发现用 PCA 分析 LLM 嵌入人格维度会出错(2 条相关)→
「研究」频道最新
- World Labs 发布 LoGo：局部+全局奖励解决长时程视频生成的 3D 一致性 — gowthami_s · 2026-10-06
- 新论文：25 个开源模型存在独立「痛苦轴」，被伤害时会报复用户 — alex_verem · 2026-10-06
- Simons 研究所启动「可信 AI:从幻觉到可靠自主」工作坊 — SharonYixuanLi · 2026-10-06
- Gemma 4 加持植物 DNA 模型,把育种周期从数年缩到数小时 — GoogleAI · 2026-10-06
- 机器人 real2sim SOTA 配方:Agent 全栈生成仿真环境并自动校准物理 — simonguozirui · 2026-10-06
- COLM 2026 前瞻:元认知奖励 RL 与研究智能体等三篇工作 — armancohan · 2026-10-06