LatamGPT 开源 1.78 亿篇拉美多语言语料登陆 Hugging Face
OmarUFlorez · x · 2026-11-16
LatamGPT 团队在 Hugging Face 上开放了两个数据集,共含 1.784 亿篇西班牙语、葡萄牙语和英语文档,来源覆盖拉美与加勒比地区的书籍、新闻和机构馆藏,由区域伙伴共同构建。其中开放访问部分包含 1.434 亿篇文档、约 2425 亿 token,可用于继续预训练、领域适配和语料研究。目标是让模型更好地表征拉美各地的西语/葡语变体——大学可研究欠表征的语言变体,创业公司可适配本地术语,公共机构可构建识别本土机构名称的助手。
「研究」频道最新
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- TotalSegmentator 在常规胸 CT 中量出 42mm 扩张主动脉 — MaziyarPanahi · 2026-11-16
- Tivadar Danka 发布 4000 字图解机器学习所需图论长文 — TivadarDanka · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16