Ai2助力构建470亿token泰语语料库Mangosteen

泰国研究团队利用Ai2的Dolma数据整理工具包，构建了名为Mangosteen的470亿token泰语预训练语料库。实验表明，在该数据集上训练的模型经过过滤低质量和重复文本后，性能可匹配甚至击败在更大网络语料上训练的模型，为非英语语言的模型训练提供了高质量数据方案。

2026-08-27 ~ 2026-08-27 · 2 条相关

• Ai2 助力构建 470 亿 token 泰语语料库 — allen_ai · 2026-08-27

另有 1 条近重复转述:allen_ai