自建「主观判断」基准:18 个模型一致性测试,GLM-5.3 登顶
arkuto · reddit · 2026-10-16
Reddit 用户发布自制的模型主观判断能力基准,配图给出 18 个模型的完整榜单,评估维度包括一致性(Consistency)、位置偏差(Positional Bias)、与共识匹配度(Consensus Match)、可解析输出率、每百万 token 输入/输出成本与总成本。
榜单要点:
- 冠军是 Z.ai 的 GLM-5.3-flash@medium,共识匹配 0.944,总成本 $2.73
- Google gemma-4-31b 两个量化版本紧随其后(0.940/0.936),总成本仅 $1.21,性价比突出
- Xiaomi mimo-v2.5 排第三(0.936)但总成本高达 $7.59
- OpenAI gpt-5.6-luna 0.931,但总成本 $13.69 为全场最贵
- Anthropic claude-haiku-5.5 可解析输出率仅 96.54%,明显掉队(0.899)
- 垫底是 NVIDIA nemotron-3.5-lightning(0.865),不过总成本最低仅 $0.93
作者称这是衡量模型主观判断(subjective judgements)能力的基准,方法细节未在正文展开。
「模型」频道最新
- Grok 订阅算账:$200 Ultra 还是 $300 SuperGrok Heavy? — alexcovo_eth · 2026-10-16
- 用户实测称 Opus 5.5 研究构思能力远超 Astra — menhguin · 2026-10-16
- 网友猜测 Meta 新版跃升靠蒸馏 OpenAI,故不开源 — teortaxesTex · 2026-10-16
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- 传智谱 GLM 5.5 即将发布,编码能力有望追平前沿模型 — bindureddy · 2026-10-16
- 五轮对抗后输出趋同:Claude Opus 5.5 与 Argon 创作实验结果诡异一致 — LanceCharger · 2026-10-16