Fireworks 发布 SII 行业实测基准
Fireworks AI 于 9 月 23 日发布 Specialized Intelligence Index（SII），试图以「真实工作」取代静态基准：与在生产环境实际运行评测的团队合作，首批覆盖医疗、法律、网络安全、客服、生产力、软件等 6-7 个行业，共约 12 家伙伴联合构建。平台按质量、成本、任务时长对比开放、闭源与专用模型，同时包含私有和公开基准，意在对抗「跑分注水」现象。
已确认
- SII 由 Fireworks AI 发布，基准由每天在实际业务中使用这些模型的团队设计，而非实验室式静态测试集
- 首批覆盖医疗、法律、网络安全、客服、生产力、软件等行业，约 12 家伙伴参与
- 对比维度包括质量、成本与任务时长，涵盖开放、闭源与专用模型
- @drcintas 补充说明：SII 不是一次性快照，新模型发布即重测更新成绩；伙伴可提交已在生产环境运行的评测
- 转述中提到某专用模型在漏洞检测场景的召回率达 62.2%（如 DepthFinance 相关基准）
为什么重要
- 通用榜单与实际生产表现常存在差距，SII 由一线从业者共建基准，更贴近真实业务负载
- 持续更新与生产评测提交机制使榜单能反映最新模型的真实能力，而非一次性营销成绩
2026-09-23 ~ 2026-09-23 · 5 条相关
一手来源
- Fireworks 推出专业智能指数，12 家伙伴联合评测真实工作 — dr_cintas ·
- SII 不是一次性榜单：模型更新即重测，伙伴可提交生产评测 — dr_cintas ·
- Fireworks AI 推出行业实测评测索引 SII，由一线使用团队共建 — Madisonkanna · 2026-09-23
- Fireworks 推出行业实践基准 SII，专用模型漏洞检测召回率达 62.2% — nicolechirps · 2026-09-23
- Fireworks 推出行业真实基准指数 SII：用私有实测对抗跑分注水 — Madisonkanna · 2026-09-23
- 【源头】Fireworks 推出专业智能指数，12 家伙伴联合评测真实工作 — dr_cintas · 2026-09-23
- 【源头】SII 不是一次性榜单：模型更新即重测，伙伴可提交生产评测 — dr_cintas · 2026-09-23