新研究量化「成文 rubric」与人类隐性知识的评估上限差异
stanfordnlp · x · 2026-10-30
Stanford NLP 的 Noah Goodman 转发并推荐了一篇新论文：该工作提出了一个 SOTA 的 prompt 优化框架，以及一种无监督的 prompt 性能度量方法。核心问题是：哪些评估标准能写成文字（rubrics/constitution），哪些属于难以言传的人类隐性知识（比如「comic voice」到底该怎么描述）？论文试图界定 judge 模型在何种成文标准上能做好、上限有多高。这对 AI 任务改进、安全遵循与多元化适配都有意义。
所属事件:斯坦福团队提出 SOTA 提示词优化框架与无监督评估法(2 条相关)→
「研究」频道最新
- Meta 论文:RL 后训练提升首次成功率,却收窄解题覆盖面 — rohanpaul_ai · 2026-10-30
- AI 加持生信工具再提速:bowtie2 提升 3 倍、bwa-mem3 提升 20-30% — jmschreiber91 · 2026-10-30
- Jason Furman 谈 AI 与经济学研究：AI 该在前沿和复现中发挥大作用 — Afinetheorem · 2026-10-30
- ScreenBench:湿实验室数据藏错,AI agent 最高仅得 0.49 分 — danielmckinn0n · 2026-10-30
- Mastra Observational Memory 登顶 BEAM 长期记忆基准 100K/1M 榜首 — darian314 · 2026-10-30
- Rooke 称69个Lean验证SAT定理、比CaDiCaL快22.92倍，但P vs NP仍开放 — TinfoilTricorn · 2026-10-30