实测 20+ 第三方模型对标 Gemini:无一达标,「平庸荒漠」
julianharris · x · 2026-09-30
作者 julianharris 分享了一次针对第三方模型生态的大规模实测:以「spec 质量」为标准,寻找是否有比 Gemini materially 更便宜的替代品,对比对象包括 DeepInfra 上架的全部模型。
- 结论:所有模型都失败了,没有一个能在质量上与 Gemini 3.6 Flash 竞争
- 他在开跑前与 Claude 打赌预测结果并赢了——多数第三方模型因「太老」而跟不上今天的 SOTA
- 本以为免费的中国开源模型会给第三方推理平台带来价格优势,实际并没有
- 一天内评测了 20 多个模型,称其为「平庸的荒漠」
- 尽管一年内价格涨了 10 倍、1 月还要再翻倍,Gemini 在他的用例中依然碾压
「模型」频道最新
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16