自建物种识别 eval 一年后被超越：Gemini 3.5 Flash 得 67% 胜过作者本人

johnowhitaker · x · 2026-10-16

johnowhitaker 一年前创建了 SpecID 评测：从自己的 iNaturalist 目录抽取 100 张经研究级确认的津巴布韦生物照片（含蜘蛛等大量冷门物种），让多模态 LLM 从近缘物种干扰项中选出正确名称。最新结果：Gemini 3.5 Flash 达 67%，且在非作者本人观测构建的替代测试集上得 65%，超过作者的 63%——仅一年多就突破了人类最高分。此前 gemini-3-pro-preview 得 64%，gemini-2.5-pro 得 57%。作者称可能得做一个更难的版本。该评测的价值在于测试模型对文档稀少、知识集中在少数人脑中的物种的识别能力。