LisanBench 纯规划子任务:OpenAI 模型登顶且前三均为 loopers

scaling01 · x · 2026-10-25

scaling01 测试了去掉知识召回与图构建组件后的 LisanBench 衍生子任务:模型拿到 100 个词构成的图,需从给定起点找出最长简单路径,最接近纯规划能力的测量。结果 OpenAI 模型表现极强:不看编辑距离规则时排名彻底变化,GPT 6 Astra medium 得 56,140 分(+659%),Gemini 4 Argon high 得 51,312(+579%),GPT 6.1 Sol medium 得 49,887(+731%),前三名全部是「loopers」。配图显示 GPT-6.1-Sol 在各推理档位下以更少输出 token 达到更高 bank score,效率显著优于 Muse Wonder Full 和 Opus 5.5。