Jev 高频实测摸底:中文拉胯、无推理,只适合封闭小决策
ZeYanjie · x · 2026-09-20
作者几天高频实测后总结 Jev 的能力边界:它极其依赖使用者划定的严格约束,开放复杂任务行不通。
- 中文适配差:官方文档标注 CJK 准确率偏低,实测中文结果混乱;英文短文本相对稳定。
- 无推理能力:Browser Use 创始人的长程浏览器交互测试中 Jev 仅 1/20,远落后具备推理能力的 Luna(17/20)。
- 真实网页不行:公开演示多在结构规范、无干扰的沙盒环境;面对未清洗 DOM、异步加载与弹窗缺乏应对。
- “零幻觉”不等于判断正确:官方只保证输出符合预定义 JSON Schema,CEO 也确认存在自信选错的情况。
- 无法动态生成工具调用参数:如指定代码行号、生成代码片段等无限维参数空间覆盖不了。
- 不输出推理依据:只返回选项或数值,无法满足人工复核与合规审计需求。
结论:Jev 的适用场景非常细分——高实时、只要确定性结论的封闭任务(如邮件分流实测:300 封信 9.9 秒分流到 15 个部门仅花 $0.036,同任务 DeepSeek 同期只读了 10 封)。作者呼吁社区开发一个 Jev harness。
所属事件:高频实测 Jev:中文表现差、边界明显(2 条相关)→
「模型」频道最新
- 11 个 LLM 剑桥辩论社对决 1168 场:Claude Fable 5.2 压倒性夺冠 — AymericRoucher · 2026-11-12
- 用户实测 Claude App:widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- Allen-Zhu新论文:Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B:TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源:跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- Datalab 快速模式 OCR 准确率超 Opus 5.5,价格仅 1/4 到 1/68 — VikParuchuri · 2026-11-12