JevBench v1.7 引入 10 秒规则:超时即判错,模拟真实产品决策
airesearch12 · x · 2026-10-25
agent benchmark JevBench 发布 v1.7,核心改动是「10 秒规则」:每个决策必须在 10 秒内完成,超时直接判错——理由是「在真实产品里,迟到的决策等于没有决策」。10 秒内的评分标准不变,API 耗时按端到端计算(含网络时间)。这一改动把推理速度正式纳入 agent 评测,逼模型在质量与延迟之间权衡,是对「只比分数不比时延」的 benchmark 文化的直接回应。airesearch12 转发了 benchmarkheaven 的规则说明。
「研究」频道最新
- 安全研究者放话：验证要做到麦克斯韦方程层，而非止步汇编 — JacquesThibs · 2026-10-25
- 云端 Agent 监督本地 35B 自出 800 题：出题比解题更易错，错题率 5 倍 — Individual_Page9676 · 2026-10-25
- SA-LapNet：从波函数构造上根治神经网络量子计算的态混合难题 — bravo_abad · 2026-10-25
- XYBench 基准：最强 LLM 仍照字面回答，识别用户误解不足 63% — MaartenSap · 2026-10-25
- EMNLP 论文：多域混合训练让监督式幻觉检测器OOD性能反超无监督方法 7.25% — MaartenSap · 2026-10-25
- EVALUESTEER:最佳奖励模型超25%场景无法对齐用户价值观 — MaartenSap · 2026-10-25