Fireworks 推出 Specialized Intelligence Index,Factory 首发遗留软件基准
maddiehfaulkner · x · 2026-09-25
Fireworks AI 宣布其 Specialized Intelligence Index (SII) 迎来新成员:@FactoryAI 提交的 Legacy-Bench,用于测试模型处理薪资、金融结算等遗留软件(legacy software)的能力。
SII 现开放向各团队征集专有基准:
- Fireworks 免费承担算力,在主流开源与闭源模型上运行评测
- 评测的任务、prompt、grader 与轨迹默认保持私有,是否公开由提交方决定
- 结果包含受控条件下的质量、成本与延迟对比
- Fireworks Lab 可针对暴露出的失败模式做后训练并在同一基准上复测
这标志着评测正从通用跑分转向行业特定真实工作场景。
所属事件:Factory发布Legacy-Bench专测遗留代码能力(3 条相关)→
「研究」频道最新
- 「现代 AI 之父」Schmidhuber 出任 Sakana AI 首席科学顾问 — hardmaru · 2026-09-25
- 历史学者用 GPT-6 与 Opus 5.5 破解约翰·迪伊密码、追溯达尔文思想源流 — emollick · 2026-09-25
- c5 宣称 12 周建成全 AI 运营实验室,发布 SciUniverse 科研基准 — akilian · 2026-09-25
- 新论文:LLM 可大规模网络去匿名化,68% 召回匹配真实身份 — rickasaurus · 2026-09-25
- 因果推断之父 Judea Pearl 90 岁生日,UCLA 举办纪念研讨会 — AlexTensor · 2026-09-25
- TTIC 成立 LEIF 实验室，聚焦语言、表达力与可解释性研究 — lambdaviking · 2026-09-25