408 次调用实测：TypeSafe 新晋模型 Jev 图像输入表现报告
SeveralSeat2176 · reddit · 2026-10-16
作者在 48 张 COCO val2017 标注照片上跑了 408 次调用，实测 Jev（TypeSafe 新融资 8.7 亿美元开发的返回带概率类型化答案的模型）1.14 版新加的图像输入与 Box 边界框问题。
核心结果（1.13 / 1.14）
- Yes/no 准确率 98.4% → 99.1%，Brier 分数 0.0105 → 0.0088
- 尺寸判断 60.4% → 80.2%；Box IoU 均值/中位数 0.85/0.90，93.8% 达 IoU≥0.5
- 408 次约 0.88M tokens，仅约 $0.04；中位延迟 848-950ms
关键发现
- Box 永不返回“不存在”：对不存在的物体也会框（约1/4框到错误物体）；配对 yes/no 存在性检查可拦截全部 96 个无效框
- 措辞比阈值重要：“有没有马”不确定时，“有没有活马”得 0.03、“有马迹象吗”得 0.99
- 阈值不能跨版本迁移：同一 accept/review/reject 路由在 1.13 只送 6 张照片人工审核，1.14 要送 20 张，需固定版本并重调
- 图像选项的错误答案都是低置信度（0.26-0.47），设置信下限可过滤
给开发者的建议：一个问题只问一件事、每个 Box 配对存在性检查、按自己标注集逐问题调阈值、固定模型版本。全文附交互式回放工具。
「编程与Agent」频道最新
- Agent 创业者发问:最终答案看着正确,凭什么就敢上线? — VariousMechanic5811 · 2026-10-17
- 除虫公司工程师深夜折腾 OpenClaw， outcome 是全家拥抱 AI 咨询生意 — heyneighbor · 2026-10-17
- Agent 自建虚拟卡代付,用户积分奖励将被悄悄截走 — km · 2026-10-17
- 用户弃订 Grammarly,用 Perplexity 万积分逆向复刻同款产品 — ChrisUniverse · 2026-10-17
- $20 Claude Pro 高效玩法:Opus 5.5 当大脑调度便宜模型干杂活 — dotey · 2026-10-17
- 多智能体系统烧 token 大问题：每个交接环节都要清洗上下文 — alex_verem · 2026-10-17