高丽大学发布 MixLID：token 级混合语言识别模型，覆盖 111 种语言
Seongtae Hong · hf · 2026-10-14
韩国高丽大学团队发布 MixLID，一个 token 级语言识别模型，支持 111 种语言-文字组合，可判定混合语言文本中每个 token 的语言。
要点：
- 采用两阶段训练：先用单语样本学习区分各语言，再在混合语言数据上继续训练，包括现有 code-switching 数据拼接样本和基于英语源词与借词对应关系构造的增强样本。
- 单语识别在四个基准上准确率和宏 F1 均超过所有基线；混合语言识别在所有评测语言对上 token 级判定全面领先。
- 模型已在 Hugging Face 公开（nlpai-lab/MixLID）。
「研究」频道最新
- AIPOCH 开源科研工作台：可复现的 AI 研究全流程 — ahuja_priyank · 2026-10-14
- AIPOCH 推出 .science 研究包,可分享完整研究上下文 — ahuja_priyank · 2026-10-14
- AIPOCH 想解决 AI 研究可复现性:打包保存从文件到证据全过程 — ahuja_priyank · 2026-10-14
- Video-Arena 基准:用竞技游戏考视频理解,原生模型 F1 仅 13.2 — Kuan Zhang · 2026-10-14
- 阿里等发布 LSCBench:vibe coding 代码功能达标却仅 25% 兼安全 — Qwen · 2026-10-14
- NAVER 提出 OmniCatalyst:全模态模型「知道却说不出口」,自生成文本补齐 — naver-ai · 2026-10-14