学者质疑教学法 RL:学生似然作为可学习性代理或有盲区
novasarc01 · x · 2026-09-29
作者对 pedagogical RL 论文提出两点保留意见:
- 用「学生似然」(student-likelihood)作为可学习性代理可能不对——真正有用的新推理动作在学生模型分布下初始概率可能极低,过度优化该指标会让蒸馏变得保守,滤掉这些低概率但关键的推理步。
- 若教师模型本身存在盲点或风格/能力偏差,仍需某种机制来判断轨迹中哪些部分真正值得迁移。
作者建议的折中方案:先在学生分布支撑附近搜索成功轨迹,再对哪些教师/token 更新值得蒸馏做门控筛选。
所属事件:学者质疑教学法RL:学生似然代理存在盲区(2 条相关)→
「研究」频道最新
- NLP 学者 Nakov:LLM 生成的论文读起来像意大利语空话「supercazzola」 — preslav_nakov · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16