Jev 模型评测出炉:工具调用强,推理与检索仍弱
multimodalart · x · 2026-09-22
multimodalart 分享了模型 Jev 在一个较难的基准上的表现。Jev 在工具调用与自动化类任务上表现尤其出色,知识型问题可答到研究生水平,Python 函数选择、模型路由也做得好。
短板方面:Jev 在国际象棋等推理/谜题游戏中仍表现挣扎,超高难度文档检索任务(通常需要推理模型)成绩不佳,识别音符和弦、细粒度情感分析也做得不好。作者称该基准设计上就偏难,避免一发布就饱和。
所属事件:Jev 模型评测：工具调用强，推理检索偏弱(2 条相关)→
「模型」频道最新
- 双板搭建测试：GPT-6 Astra 成功，Claude Fable 5.2 落败 — qinzytech · 2026-11-12
- Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点 — Don't Worry About the Vase (Zvi) · 2026-11-12
- antirez 背书:苹果 M5 本地跑低比特 DeepSeek 好过 27B 稠密模型 — antirez · 2026-11-12
- 被禁用视觉后 Gemini 自建文本图像硬扛基准,性能仅降 6% — zacharynado · 2026-11-12
- 实测三模型纯裸跑编码：Gemini 4 Carbon 代码质量惊艳性价比最高 — Semantic_meaning · 2026-11-12
- Google 发物理工程「最后考试」:14 个前沿模型全部不及格 — dl_weekly · 2026-11-12