AWS 推出 SageMaker JumpStart 模型排行榜:质量速度成本同口径对比
AWS ML Blog · rss · 2026-11-19
AWS 在 SageMaker Studio 中上线 JumpStart Model Leaderboard,解决开源模型选型时各处跑分口径不一的问题。要点:
- 同口径评测:AWS 用统一评测流程跑 BIG-Bench Hard、GPQA Diamond、MMLU-Pro 三项推理基准;速度与成本数据来自向真实端点发送标准化负载实测,而非拼凑各家官网数字。
- 按场景看指标:可切换用例画像(默认 Max Context)与优化目标——Balanced(每 token 成本最低)、Cost optimized(时租最低)、Latency optimized(首 token 最快)、Throughput optimized(吞吐最高,可用投机解码)。
- 指标:TTFT、单请求吞吐、实例每小时成本(仅含 SageMaker 实例按需价,不含传输/存储/预留折扣)。
- 上线覆盖 70+ 模型(Meta、Google、Qwen、IBM、Arcee 等),博客附从筛选到部署的完整 walkthrough。
「Infra」频道最新
- OpenAI 推出 Background Mode 折扣窗口:放宽时限最多省 40% token 费用 — OpenAIDevs · 2026-11-19
- EchoMoE 只传增量不传全量,MoE 推理跨节点流量砍 58% — sivareddyg · 2026-11-19
- JEDEC 公布 DDR6 规范:起步 12.8 GT/s、带宽提升 50%,支持 128Gb 颗粒 — gnukeith · 2026-11-19
- Datadog 联手 Baseten 微调 Qwen 3.5 9B,摘要任务提速约50倍 — baseten · 2026-11-19
- 英伟达单季营收1160亿美元,分析师因不确定性下调风险回报评级 — BenBajarin · 2026-11-19
- Oracle 联席 CEO 承认卖数据中心犯「经典错误」:忽视社区沟通 — jeremyakahn · 2026-11-19