前沿模型 CBRN 评测要重视 harness
xeophon · x · 2026-07-20
作者认为，在评估前沿模型、尤其是涉及 CBRN 的能力时，应尽可能尝试不同的测试 harness 来最大化观察到的性能。
核心意思是：评测方式本身会显著影响结论，如果想知道模型“真正能做什么”，就要寻找最能释放其表现的评测框架。帖子还指出，坏人不会照搬 ReAct 这类流程，因此只测带智能体循环的场景，可能会错过关键能力信号。
所属事件:前沿模型与Agent评测方法引热议(3 条相关)→
「研究」频道最新
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27