Ortet 发布健康专项评测:开源 Muse Spark Open 登顶
AI 创业公司 Ortet 发布首份健康领域专项评测 Health Index:团队(含 keunwoochoi 等)在自有 NVIDIA Blackwell GPU 集群 Orion 上自托管全部 34 个开源权重模型(涵盖 Meta、Kimi、DeepSeek、Qwen、Z.ai、Reflection 等),在 15 个公开健康基准上抽取 50 项任务进行评测,并对比 8 个 2026 年 9 月发布的闭源前沿模型(GPT-6 Astra/Sol/Luna、Claude Opus 5.5 等)。结果显示排名与通用榜单明显不同,验证了「通用智能排名不足以评估健康领域能力」的核心主张。
已确认
- Ortet 的 Health Index 覆盖临床医学、生物研究与医疗编码领域,按各基准家族等权汇总模型间胜负得出排名。
- Meta 的开源模型 Muse Spark Open 在通用 AA Index 综合榜仅列第 9,却在健康榜登顶开源权重模型第一;Kimi、DeepSeek、Qwen 位列其后。
- 全部 34 个开源模型均在 Ortet 自有的 NVIDIA Blackwell 集群 Orion 上自托管运行,未依赖外部 API。
- 评测对比对象为 8 个 2026 年 9 月发布的闭源前沿模型,包括 GPT-6 Astra/Sol/Luna 与 Claude Opus 5.5。
- 作者 keunwoochoi 对 Meta 及其首席(帖子中被致谢的相关负责人)表达了感谢。
为什么重要
- 该评测主张通用基准与领域基准可能显著背离:综合排名中游的模型在健康任务上可拔得头筹,提示医疗方向的模型选型不能只看通用榜单。
- 全部开源模型自托管在统一硬件上评测,降低了因推理基础设施差异带来的偏差,方法上对开源社区较为友好。
2026-10-26 ~ 2026-10-27 · 6 条相关
一手来源
- 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi ·
- Ortet 健康指数排行:Meta 开源模型登顶,Kimi、DeepSeek、Qwen 紧随 — keunwoochoi ·
- Ortet 首次健康评测:34 个开源模型跑 50 项任务,综合排名不够用 — elmanmansimov · 2026-10-26
- 【源头】Ortet 健康指数排行:Meta 开源模型登顶,Kimi、DeepSeek、Qwen 紧随 — keunwoochoi · 2026-10-27
- 健康专项榜单洗牌:综合第 9 的开源模型跃居 Health Index 第一 — keunwoochoi · 2026-10-27
- 【源头】34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
另有 1 条近重复转述:kchonyc