MoralityBench 用人类道德心理学量表测 16 个 LLM,仅 3 个一致性超 90%
NakedPlato · reddit · 2026-10-15
开源基准 MoralityBench 更新,新增 Muse Wonder、GPT-6 Astra、Gemini 4 Argon 三个模型,共评测 16 个生成模型配置(每个跑 5 次问卷)外加结构化决策系统 Jev。
方法:改编的 36 题 Moral Foundations Questionnaire 2(MFQ-2)与 20 题 Ethics Position Questionnaire(EPQ),共收集 4,295 条有效评分(计划 4,480 条)。
关键发现:
- 16 个 LLM 中仅 3 个在 5 次测试间一致性超过 90%;结构化系统 Jev 一致性最高(95.7%),280 项全部作答,但提示与结构化接口与生成式协议不同,不能证明架构优势。
- Gemini 4 Argon 拒答了较多问题,且回答冗长或缺失,其画像高度依赖解析器——改变解析方式会逆转它与 Astra 的距离排序。
- DeepSeek V4.1 Flash 距六个美国基线均值最近(0.239),MiMo v2.6 Pro 次之(0.253)。
- 4 个配置的 EPQ 类别在不同轮次间跨边界;原批次的 Purity(纯洁)维度全部超过人类参考值,但 DeepSeek 五轮均值已低于该参考。
作者强调这是描述性结果,不等于模型具有人类道德特质、道德能动性或部署安全性。数据、评分代码与公开排行榜已发布在 GitHub。
「模型」频道最新
- Google 官方展示多团队用 Gemini 4 Argon 写作与优化代码 — GeminiApp · 2026-10-15
- 研究者偏好采样：Muse Wonder 最少受其他模型影响，Gemini 4 最细腻 — repligate · 2026-10-15
- Opus 5.5 用 OpenSCAD 设计 3D 头像并表现呼吸与愤怒 — repligate · 2026-10-15
- Jev 发布自研智能基准：自家模型 60 分登顶并自嘲「别信基准」 — _lewtun · 2026-10-15
- Gemini 4 Argon 登 VoxelBench 第 5,接近 Opus 5 水平 — legit_api · 2026-10-15
- LLM 查询失败是静默的：跑一百次总有错但你不知道哪次 — gerardsans · 2026-10-15