Rachel 推介 Inverse IFEval:测模型能否反着听指令的新基准
math_rachel · x · 2026-10-19
mathrachel 在线程中介绍 Inverse IFEval 基准,用于测试模型遵循分布外指令的能力,包括:
- 刻意有缺陷的问题
- 不带注释的代码
- 禁止使用列表符号
- 交互中途改变指令等
她强调:"在抑制僵化训练偏置的同时可靠地遵循分布外指令,是模型鲁棒性的关键维度"——即模型不应只学会迎合训练中常见的评测套路。
所属事件:Rachel Thomas 发帖串盘点 LLM 指令遵循失败研究(3 条相关)→
「研究」频道最新
- Subspace Tuning:把权重更新限制在低奇异子空间,大幅缓解 LLM 灾难性遗忘 — scottniekum · 2026-10-23
- Perceptic 发布 PercepticOS:面向「科学超级智能」的 AI 科研工作台 — nathanbenaich · 2026-10-23
- EPFL Bosselut 11 月线上演讲:长上下文处理即测试时学习 — andre_t_martins · 2026-10-23
- Cohere 演讲：DRATS 自适应任务采样改善多任务 RL 数据分配 — Cohere · 2026-10-23
- MIT CSAIL 推出 X-Hinges：3D 打印内置传感的自感知物件 — MIT News AI · 2026-10-23
- CMU 博士生分享：全注意力 Transformer 训练后期可改造为混合架构 — Cohere · 2026-10-23