VIN 识别实测:GPT-6 Astra 只对 46%,Sonnet 5 达 86%,专用路由价值凸显
arnabdotorg · x · 2026-10-15
Andrew Perrault 分享 VLM 评测中的一个反直觉数据点:在读取汽车 VIN 车架号的任务上,顶级模型 GPT-6 Astra 的正确率只有 46%,而 Sonnet 5 能达到 86%。
这说明任务级专用路由(task-specific routing)收益巨大——按任务选对模型,效果差异可接近一倍。模型看图读细节这类工作,选型比堆最强模型更重要。
「模型」频道最新
- 测试集污染研究被 NeurIPS 拒稿:一条副本即可让模型「低于不可约误差」 — RylanSchaeffer · 2026-10-15
- SWE-bench Multimodal 排行榜上线：Claude Opus 5.5 以 70.21% 居首 — OfirPress · 2026-10-15
- 谷歌 Gemini 4 Argon 加速量子计算、核聚变与蛋白质设计研究 — GoogleDeepMind · 2026-10-15
- Google 官方对谈:Sergey Brin 详解 Gemini 4 Argon 与路线图 — OfficialLoganK · 2026-10-15
- ChatGPT 默认切至 GPT-6.1 Sol,用户称语音对话幽默与情感细腻度提升 — shaunralston · 2026-10-15
- 小模型世界已彻底改变，但开发者社区还没意识到 — tokenbender · 2026-10-15