前沿 agent 评测需要更高 token 上限
xeophon · x · 2026-07-20
这条帖讨论的是 frontier agent 的评测方式，重点放在 token 上限太低会掩盖模型真实上限。
作者认为，像 AISI、MirrorCode、EdgeBench 这类评测已经说明：如果想真正看清模型在 cyber 风险上的能力，就必须把测试强度拉得更高，而不是停留在有限步数的 benchmark 里。
帖子还提到一个很实用的评测建议：优先使用模型厂商自己的 harness 作为默认测试环境。不过他也指出，有些模型在自家 harness 里的表现，反而可能不如在 Pi、Cursor 这类第三方环境中；这说明评测框架本身会显著影响结论，同时也涉及成本取舍。
所属事件:前沿模型与Agent评测方法引热议(3 条相关)→
「安全」频道最新
- 生产级 AI Agent 常规评测 95% 稳健，遭定向攻击后跌至 37% — njyx · 2026-10-27
- Anthropic IPO 文件披露:违规客户贡献 5%-7% 营收,至少 8.14 亿美元 — henkvaness · 2026-10-27
- 限制模型做逆向工程和漏洞研究，惩罚的恰恰是守规矩的白帽 — mark_k · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 程序员警告:模型「消融版」将冲击软件供应链,千级依赖无人设防 — nitarshan · 2026-10-27
- 摩根大通 CEO：Anthropic 模型上线后我行网络风险暴增 10 倍 — ChuckDBrooks · 2026-10-27