MalwareBench 发布:恶意软件逆向首个端到端基准,GPT-6.1 仅得 4.42%
brianryhuang · x · 2026-10-23
genanalysis 团队推出 MalwareBench,号称首个端到端、跨平台的恶意软件逆向工程(RE)基准。与其他已饱和的 RE 基准不同,模型在这里表现极差:最强的 GPT-6.1 Sol 成功率仅 4.42%。
一次典型评测运行需数小时、消耗数亿 token,说明任务难度和推理成本都远超常规 benchmark。对评估前沿模型在安全分析场景的真实能力有参考价值。
「模型」频道最新
- DeepSeek V4.1 Flash 追平 Gemini 3.1 Pro ARC 成绩,成本仅 1/6 — teortaxesTex · 2026-10-23
- Bindu Reddy预告:Smaug 整合 Nvidia Nemotron,单机跑强力开源 LLM — bindureddy · 2026-10-23
- 曝 Opus 5.5 被“削”为新模型让路:Riley Ralmuto 称每次发版前都如此 — RileyRalmuto · 2026-10-23
- 三个小型 MoE 同台实测:Flint 40B 省钱最快,Nemotron 吞吐高却修最久 — GapNew4766 · 2026-10-23
- 基于 GLM-5.3 的去审查开源模型发布,网络攻击能力翻倍 — AaronBergman18 · 2026-10-23
- Artificial Analysis 发布编码智能体指数 v2.0,各配置分数普遍下调 — ArtificialAnlys · 2026-10-23