47 个 LLM 心理测量审计：合成调查受访者仍不及高斯 copula 基线
Mantas Lukauskas · hf · 2026-10-14
研究检验 14 个决策模型（11 家厂商）和 47 个生成式 LLM 能否替代真人填写心理测量问卷（立陶宛组织心理学调查，n=263、68 题，配 100 份真人画像），用心理测量相似度分（PSS）评估。最佳生成模型 MiniMax M3 达 PSS 0.813，仅与仅用其他受访者拟合的高斯 copula（0.824）持平、低于样本内 copula（0.927）；另一组 100 名真人得分低于最佳模型，说明该规模下 PSS 无法区分模型与真人。10 个产品线中 5 个最新版本得分显著低于同系早前版本。13/14 个决策模型在默认四舍五入读出下低于 gpt-5.4-mini；47 个生成模型中 33 个相关性模式优于所有决策模型。概率向量在样本边际上接近真人并能较好排序受访者，但作为个人预测均不敌他人答案频率；画像回归仅改进 1.0%，说明画像字段对回答预测作用有限——合成受访者应追求样本级保真而非个体预测。
「研究」频道最新
- 破解 ECDSA 挑战赛新纪录:893 量子比特比谷歌 3 月最佳省 25% 资源 — jedisct1 · 2026-10-14
- 南洋理工 COAP 论文:让代码而非 LLM 待在机器人控制回路,42 项双臂任务成功率 75% — liuziwei7 · 2026-10-14
- 中国团队实现 Th-229 核钟同步:固态方案让核钟更小更稳 — jwt0625 · 2026-10-14
- 扩散语言模型实测：速度快一倍但难任务通过率仅60% — techNmak · 2026-10-14
- 数学家澄清：OpenAI "Navier-Stokes" 证明并未窃取两人工作 — analisereal · 2026-10-14
- 训练 54 个模型有机体发现:可解释性审计分数竟是抽彩票 — gsarti_ · 2026-10-14