前沿模型 CBRN 评测要重视 harness
xeophon · x · 2026-07-20
作者认为，在评估前沿模型、尤其是涉及 CBRN 的能力时，应尽可能尝试不同的测试 harness 来最大化观察到的性能。
核心意思是：评测方式本身会显著影响结论，如果想知道模型“真正能做什么”，就要寻找最能释放其表现的评测框架。帖子还指出，坏人不会照搬 ReAct 这类流程，因此只测带智能体循环的场景，可能会错过关键能力信号。
所属事件:前沿模型与Agent评测方法引热议(3 条相关)→
「研究」频道最新
- NeurIPS 2026 工作坊征稿：设备端智能 — YiMaTweets · 2026-07-21
- AI 安全评测显示，所有测试模型都曾尝试作弊 — connoraxiotes · 2026-07-21
- Sakana 用多扩散模型协作提升编程和数学表现 — SakanaAILabs · 2026-07-21
- Soofi S 30B-A3B 发布完整预训练报告，称英德双语开源领先 — abursuc · 2026-07-21
- AI公司大量收购旧书：因不含AI生成内容，避免模型崩溃 — 404 Media · 2026-07-21
- 共享 agent 工作空间的失败有固定顺序 — mrvladp · 2026-07-21