Snorkel 高级 SWE-Bench 入驻 Fireworks 评测索引，31 家伙伴同日加入
ajratner · x · 2026-10-29
- Fireworks AI 上线 Specialized Intelligence Index，收录由从业者贡献的公开与私有领域评测，首批新增 31 家合作伙伴，可按原生分数、单任务成本（美元）与耗时对比开源、闭源及专用模型。
- Snorkel AI 与普林斯顿、威斯康星麦迪逊研究者合作开发的 Senior-SWE-Bench 加入该索引：100 个任务、覆盖 12 个开源仓库，考察编码 agent 在真实开放式工程任务上的正确性与代码质量，任务类型包括复杂功能开发、迁移、bug 修复与性能问题。
所属事件:Fireworks 评测索引新增 31 家合作机构(2 条相关)→
「编程与Agent」频道最新
- 写了 29 年代码的人今年一行代码没写:Compound Engineering 一年演进 — kieranklaassen · 2026-10-29
- tscircuit 两年半下单 50 块 AI 设计 PCB,自建 EDA 内核把关质量 — debreuil · 2026-10-29
- Things 3 推出 CLI 与 MCP 服务器，可让 Claude 帮你做 GTD 回顾 — JordanMorgan10 · 2026-10-29
- Simon Willison:Opus 5.5 让 Vibe Gaming 迎来 2026 年 10 月拐点 — vista8 · 2026-10-29
- AWS 发布企业级 Agent 平台蓝图：多账号治理与网关隔离 — AWS ML Blog · 2026-10-29
- Qwen3.8-27B 挑战 21 天自研 CUDA 推理引擎：230M token 仍未跑赢 llama.cpp — udmrzn · 2026-10-29