Surge AI 创始人发布 ComplexConstraints:模型最高仅得 40%

StewartalsopIII · x · 2026-11-06

配图是 Surge AI 创始人 Edwin Chen 的帖子,介绍新指令遵循基准 ComplexConstraints,测试模型处理真实工作中相互纠缠的约束(如排班场景的 18 个联动条件),分四类:条件约束、规划约束、多步约束、隐性约束。现有多模型得分仅 0%40%。

团队还用 1,000 条配套样本训练了一个 4B 小模型,结果达到 60 倍体量模型的水平,且提升迁移到 MultiChallenge、AdvancedIF 等其他 IF 基准(如 Meta AdvancedIF 总通过率 28.15%→36.60%)。帖子作者同时分享了 Opus 在上游表结构变更时照章办事却忽略算力效率的实战案例,呼应「真实指令不是独立规则列表」的观点。