62 人盲听实测:8 大 LLM 写钢琴曲 Gemini 66% 胜率居首
antiochIst · reddit · 2026-11-06
作者自办了一场符号作曲盲听测试:8 个旗舰 LLM 各用一次机会按相同 20 条提示写 8 小节 4/4 独奏钢琴曲(JSON 音符列表),统一用 Salamander 钢琴音源渲染,62 名付费普通听众盲听二选一。
中期结果(514/1638 判次)
- Gemini 4 Argon 66% 胜率居首(79% 的 bootstrap 复制品中排第一),Claude Opus 5.5 61% 次之;中间五名(Qwen 3.8 Max、Kimi K3、Grok 4.7、DeepSeek V4 Pro、GPT-6.1 Terra Pro)区间均含 50%,暂时无法排序;Llama 4 Maverick 27% 垫底,且在 100% 复制品中排末位,20 条提示中 4 条零胜场。
- 获偏爱的曲目有更宽音域(62%)、更多音符(59%)、更多低音(58%);Grok 乐观风格仅 32%、Qwen 黑暗风格高达 72%,各风格差异明显。
- 落败者特征:DeepSeek 每首仅 71 音、两个八度;Llama 52 音、音域仅 17 半音几乎没有低音区。
局限:仅完成 31%,每模型每提示只生成一次未测方差,听众为非音乐专业者,Llama 走第三方 FP8 端点,结论按该配置理解。
「模型」频道最新
- Inkling 2 Small 发布:AA 指数 31 分,微调友好度成开源新焦点 — simonguozirui · 2026-11-06
- 小模型可定制性被视为关键能力:Inkling 2 Small 主打低成本微调 — clarejtbirch · 2026-11-06
- 本地 AI 日报:TensorFold 1.2.3 解码提速 21–23%,Ripple-65B 开源预览 — AIFlow_ML · 2026-11-06
- 知名研究员 alth0u 晒图暗示:新模型训练已在进行中 — clarejtbirch · 2026-11-06
- Inkling 2 Small 用 NVFP4 于 68 小时预训练 8.4T tokens — clarejtbirch · 2026-11-06
- Astra 与 Sol 6.1 表现突进,多智能体 RL 与认知安全训练受关注 — scaling01 · 2026-11-06