第三方实测 Meta Muse Spark 1.3:安全基准 19/32,仍不敌中国前沿模型
teortaxesTex · x · 2026-09-03
Meta 发布 Muse Spark 13(扎克伯格称编码与 agent 能力是史上最大跃升),第三方在其网络安全基准上的实测泼了冷水:
- pass@1:平均发现 19/32 个 CVE,低于 Grok 4.6 的 23.3/32
- pass@3(3 次取池):24/32,仍落后 DeepSeek V4 Pro 的 28/32
- 价格:比多数前沿模型便宜,但与一些中国模型相比性价比难以成立
- 缓存命中率仅 45%(通常更高),作者按 90% 假设折算了结果
结论:Meta 在缓慢追赶,模型编码尚可,但在网络安全任务上明显不到位;官方还预告 Muse Spark 开源权重和「🍉」即将发布。
「模型」频道最新
- 花3个月实测:Anthropic 内部模型能否设计蝎子抗毒血清 — apoorvasriniva · 2026-10-21
- Space Bunny Alpha 实为 MiniMax M3.1 Flash：1M 上下文、主打性价比 — ZabihullahAtal · 2026-10-21
- Rork 界面现「Opus 5.5 Medium」选项,Anthropic 新模型或曝光 — rudrank · 2026-10-21
- RSI-Bench 首批任务通过验证管线,含 reward-hacking 检测与补丁 — SRSchmidgall · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21