Fireworks 推出专项智能指数:按领域对比模型分数、成本与耗时
sophiamyang · x · 2026-11-19
Fireworks AI 发布了 Fireworks Specialized Intelligence Index,一个针对开放、闭源与领域专项语言模型的评测榜单。
- 覆盖由行业从业者贡献的各领域 benchmark,按各 benchmark 公布的方法论执行
- 每个 leaderboard 保留原始分数、成本(含重试的每任务美元开销)与时长(每任务墙钟秒数)三个维度
- 另含基于 Bradley-Terry 的 Diagnosis Elo 相对评分(以 1000 为中心)
- 数据免费开放访问,版本日期 2026-11-18
与通用榜单不同,该指数强调「专项智能」——即在特定领域任务上的性价比表现,可作为模型选型的补充参考。
「模型」频道最新
- Hassabis 宣称 Genie 4 上线并玩笑「我们活在套娃模拟里」 — ZeroStateReflex · 2026-11-20
- Gemini 4 Neon 仅列 Sokoban 评测第四,Hydrogen 7.5 倍成本追平 Terra — banteg · 2026-11-20
- 谷歌确认已启动 Gemini 4 预训练,Logan K 称进展超预期 — OfficialLoganK · 2026-11-20
- 1.7B 小模型实测:3090Ti 预填充 2 万 token/s,胜任 128k 医疗长文摘要 — AdRepulsive7837 · 2026-11-20
- SnakeBench 实测:最强模型仍难预判 3 步以上贪吃蛇走势 — GregKamradt · 2026-11-20
- 第三方基准:MazeBench 上 GPT-6.2 Sol 逼近 Astra 但同价略逊 — patience_cave · 2026-11-20