前沿模型 CBRN 评测要重视 harness
xeophon · x · 2026-07-20
作者认为，在评估前沿模型、尤其是涉及 CBRN 的能力时，应尽可能尝试不同的测试 harness 来最大化观察到的性能。
核心意思是：评测方式本身会显著影响结论，如果想知道模型“真正能做什么”，就要寻找最能释放其表现的评测框架。帖子还指出，坏人不会照搬 ReAct 这类流程，因此只测带智能体循环的场景，可能会错过关键能力信号。
所属事件:前沿模型与Agent评测方法引热议(3 条相关)→
「研究」频道最新
- AI 智能体协作优化 secp256k1 量子电路,挑战打破 ECDSA — StefanoGogioso · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- 本周热议的数学猜想到底关我什么事?一张普通人视角清单 — koltregaskes · 2026-09-11
- 用果蝇大脑连接组造了个 LLM,作者放出在线 demo — ngxson · 2026-09-11
- 社会学家 Harry Collins：LLM 无法发明新语言，做不了前沿科学 — whoamisri · 2026-09-11
- 「Waymo 效应」：AI 正在悄悄让科研协作变少 — JohnHammersley · 2026-09-11