Artificial Analysis推出Optima,支持自定义工作负载评测LLM
ArtificialAnlys · x · 2026-08-13
知名 AI 模型评测机构 Artificial Analysis 宣布推出 Optima 平台,帮助开发者和企业针对自身业务场景构建专属的大模型基准测试。
Optima 整合了 Artificial Analysis 在模型评测领域的经验,支持三种数据导入方式:上传本地数据集、从 Hugging Face 导入,以及从各类智能体平台导入轨迹数据。平台能够自动化地起草任务和评分标准。
在评测类型上,Optima 支持客观问答、文档理解、智能体工具调用以及交互模拟。最终,平台会综合评估模型的准确率、任务耗时和调用成本,帮助用户找到性能最佳或性价比最高(可降低 10 倍以上成本)的模型方案。
所属事件:Artificial Analysis推出Optima自定义评测平台(4 条相关)→
「应用」频道最新
- CiteDash AI 工作流:从提问到论文初稿的一站式生成 — Faheem_uh · 2026-08-14
- 获 3.1k Star:开源高精度多设备音频同步播放器 Beatsync — tom_doerr · 2026-08-14
- OpenVuln 发布:AI 引擎扫描开源代码安全漏洞 — AdinaYakup · 2026-08-14
- 开源工具 DSH Desktop:一键双击本地运行 DeepSeek — aigclink · 2026-08-14
- ChatGPT 测试广告引争议:AI 推荐的客观性边界在哪? — Extreme-West4844 · 2026-08-14
- GitHub 热门项目:Eidos 将普通文件夹变为版本化工作区 — tom_doerr · 2026-08-14