TASTE 基准：几乎全部前沿模型准确率接近随机猜测

maksym_andr · x · 2026-11-14

TASTE 论文图表显示，在被测模型中包括号称最强的 Model 4 在内，几乎所有前沿模型（Anthropic 全系 Opus/Haiku/Sonnet、Gemini、Qwen、GLM、Kimi、Grok、GPT-5.6 各版本等）在该基准上的准确率都落在随机猜测的 95% 二项噪声区间内（约 50%），而专家人类成绩为 77%，表现最好的 Fable 5 也仅勉强高于随机线。作者推测这个 Benchmark 14 测的可能是「研究品味」（research taste），并指这是所有基准中唯一显示模型近乎零进展的一个。