CMU 课程大纲曝光：系统拆解 LLM 离线与在线评估
841io · x · 2026-08-09
卡内基梅隆大学（CMU）研究员分享了其即将开设的研究生课程《语言技术的定量评估》（11-801）的详细大纲。
该课程核心探讨如何科学评估语言模型，主要分为两大模块：
- 测量： 涵盖测量建模、NLP 任务核心指标，并深入探讨序列、排名和多轮交互等特定指标类别。
- 实验： 分为部署前的离线实验（数据集构建与假设检验）和部署后的在线实验（A/B 测试与假设检验）。
课程旨在帮助学生审视现有的评估方法，并为开发新的评估体系奠定基础。
「研究」频道最新
- 打造领域专用大模型：持续预训练(CPT)最佳实践资源汇总 — liuzhuang1234 · 2026-08-09
- NeurIPS 审稿时间轴更新引关注：修改时间是否意味评分变动 — Responsible-Read-138 · 2026-08-09
- Goodfire CTO 深谈概念流形几何与 1000 美元/月的 ML 研究智能体 — The Cognitive Revolution · 2026-08-09
- Goodfire CTO 深度解析：概念流形几何与每月 1000 美元的 ML 研究 Agent — The Cognitive Revolution · 2026-08-09
- CVPR 2026 论文开源：PersonaLive 实现直播表情肖像动画生成 — tom_doerr · 2026-08-09
- ICTP公布2026年狄拉克奖得主 — neurovium · 2026-08-09