2.6万次agent运行实测:换模型是否也该换harness框架

Double-Entertainer62 · reddit · 2026-11-11

FrontierHarness v1.1 发布完整评测矩阵:21 个 harness × 5 个模型 × 62 个终端任务 × 4 次尝试,共 26,040 次运行,预算高达 1000 亿 token。v1.0 只在单一模型上比较 9 个 harness,无法回答「在 A 模型上赢的 harness 换到 B 模型是否还赢」,v1.1 旨在补上这一维度。所有运行使用相同环境与限制,完成后实时公布完整结果、token 用量与成败。五个参测模型全部为开源权重:GLM-5.3、GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017、Muse Spark Open、Kimi-K3。