NileAGI 发布斯瓦希里语理解评测项目 NILEAGI-SUB

Cohere_Labs · x · 2026-08-20

NileAGI 团队发布了 NILEAGI-SUB，一个针对斯瓦希里语理解的评测项目，旨在解决现有多语言评测在特定区域（如东非）和特定领域（如教育）的不足。首版 SUB-MCQ EDUCATION 包含 2569 道专家审查的斯瓦希里语学校选择题，并对 8 个 2B-5B 参数的开源模型进行了评测。结果表明，仅凭模型规模无法解释排名差异，项目代码和数据集已开源。