Datalab CEO:多数榜单是厂商冲第一的工具,教你自查基准
VikParuchuri · x · 2026-11-20
Vik Paruchuri 指出基准测试很难,连专家也容易踩坑,而大多数基准由想排第一的厂商制作,并非为了帮用户公平判断。他分享了一个演讲,讲解如何自己压力测试基准的可信度,并附上快速核对清单,同时建议尽量在自己的数据上搭建自有 eval。
所属事件:Datalab 发布 OmniParseBench 并审计 15 个文档解析基准乱象(5 条相关)→
「研究」频道最新
- 一个特征判别小说:感知动词每页超 3.4 次,90% 是虚构 — _akpiper · 2026-11-20
- Ai2 发布 Theorizer:AI 读文献提科学假说,肿瘤医生称重合其15年思考 — allen_ai · 2026-11-20
- AI2 推出 Theorizer:基于已发表研究提出可供科学家验证的理论 — allen_ai · 2026-11-20
- 跨机构综述:理解模型内部机制到底能否让 AI 更安全 — sarahookr · 2026-11-20
- μSAM2 发布:基于 3000 万标注细胞训练的显微图像分割新模型 — alxndrkalinin · 2026-11-20
- SnakeBench 实测:最强模型仍难预判 3 步以上贪吃蛇走势 — GregKamradt · 2026-11-20