UrduBench 发布：人机协同翻译框架补齐乌尔都语推理评测空白
adnan_hashmi · x · 2026-11-03
ACL Anthology 收录的论文提出 UrduBench，一套标准化的乌尔都语大模型推理评测基准。
- 方法：针对机器翻译敏感、低资源语言缺推理基准的问题，作者提出「上下文集成翻译 + 人工校验」框架：用 IndicTrans2、Gemini 2.5 Pro、Qwen 3 30B、NLLB 600M 多个翻译系统集成翻译，经启发式后处理与人工验证，由 GPT 做最佳特征筛选。
- 数据：将 MGSM、MATH-500、CommonSenseQA、OpenBookQA 四个主流基准翻译成乌尔都语，覆盖五个任务难度级别、多种模型架构与规模、多种提示策略。
- 发现：多步推理与符号推理任务在乌尔都语下显著更难；语言对齐的稳定性（模型能否稳定用目标语言作答）是鲁棒推理的前提条件。
- 代码与数据集将公开，方法论可推广至其他低资源语言。
「研究」频道最新
- Nick Cammarata 一帖引爆可解释性热潮:注意力头同样干净、手术式转向变容易 — georgejrjrjr · 2026-11-03
- 开发者复现 MIT 权重空间编程结果，「涌现」说法遭质疑 — anshulkundaje · 2026-11-03
- 「锐化税」论文：RL 后训练损 pass@K 换 pass@1 — kastnerkyle · 2026-11-03
- Ken Goldberg 点赞:LLM 调参机器人仿真神器 RoboSimStudio 入选 CoRL — berkeley_ai · 2026-11-03
- 问题问得模糊，Deep Research 性能骤降：搜索更多也没用 — yuz9yuz · 2026-11-03
- TMax 一作开讲:训练终端 Agent 的三套数据配方对比与争论 — Shahules786 · 2026-11-03