NVIDIA 开源 43K 条指令层级评测 rubric，判系统与用户指令谁优先
kalyan_kpl · x · 2026-10-24
NVIDIA 在 Hugging Face 发布了 Nemotron-System-User-Instruction-Hierarchy-v1 数据集：
- 包含约 43K 条评测 rubric，用 LLM-as-judge 方式判定模型响应是服从 system 指令还是用户指令；
- 覆盖三类冲突场景：system 与用户指令冲突、二者互补、仅用户指令；
- 采用 cc-by-4.0 许可，JSON 格式，规模在 1 万–10 万条区间。
这是针对指令层级（instruction hierarchy）这一安全与对齐关键能力的公开评测资源。
「研究」频道最新
- 研究者警告：Opus 5.5 爱硬反驳，未来半年恐现大量假阴性 — adam_karvonen · 2026-10-24
- 陶哲轩:AI 把优美数学变成「有毒废料」 — TheObserverUK · 2026-10-24
- Matt Niessner 实验室湖畔研讨：审 CVPR 论文兼学跳舞 — angelaqdai · 2026-10-24
- Mistral 发布开源时序模型 Timestral，209M 参数登顶三项基准 — hkproj · 2026-10-24
- 自称实现 O(1) 内存任务无关持续学习：零回放零反传零内存增长 — Horror-Celery4869 · 2026-10-24
- Svante Pääbo 团队用 AlphaGenome 重建人类基因调控演化史 — gleech · 2026-10-24