Anthropic TASTE 基准显示：模型在模糊判断任务上仍接近随机

ronbodkin · x · 2026-11-13

这是关于 AI 在「模糊任务」上进展速度的争论。@benjtodd 认为 AI 在此类任务上进展缓慢的证据不足——如果属实，按任务模糊度分类时应看到模糊度与能力倍增时间相关，但数据并不支持；且法律咨询、理解产品规格等过去被认为模糊的任务，如今模型已表现很好。

Ron Bodkin 引用论文《Automated Alignment is Harder Than You Think》(arXiv:2605.06390) 给出更窄的定义：「缺乏明确评估标准、且人类判断本身系统性不可靠的任务」，涵盖 AI 研究中的能力与安全方向的定性判断。他指出这类领域数据少、难测量，Anthropic 的 TASTE 基准显示当前模型接近随机水平，因此快速进展缺乏证据、不确定性很大。