AI2 发布泰语预训练语料库 Mangosteen
allen_ai · x · 2026-08-27
AI2 团队发布了 Mangosteen，一个包含 470 亿 token 的泰语预训练语料库。实验表明，在该数据集上训练的模型在过滤掉低质量和重复文本后，性能匹配或击败了在更大网络数据集上训练的泰语 LLM。这证明了精细筛选可以用更少的数据达到同等效果，且这种提升在更大模型上依然有效。AI2 希望通过开放 Dolma 等工具帮助研究人员适应特定语言和社区。
所属事件:Ai2助力构建470亿token泰语语料库Mangosteen(2 条相关)→
「模型」频道最新
- MiniMax H3 Max 登顶视频生成榜，fal 推出微调版 — ArtificialAnlys · 2026-08-27
- GLM-5.3 Flash 评测：GPT-5.6 级别且成本极低 — zainhas · 2026-08-27
- Qwen3.8 Flash Next 发布，部分用户感失望 — NigaTroubles · 2026-08-27
- 阿里通义 Qwen 3.8 与 Zai GLM 5.3 发布，支持戴尔本地部署 — _akhaliq · 2026-08-27
- Fal 宣布获新一轮融资，H3 Max 模型兼具最快速度与最优质量 — isidentical · 2026-08-27
- 2026 年本地模型选型：Qwopus 9B vs Qwen 27B — Ammargok · 2026-08-27