一篇用提示词改论文的ICML研究
量子位 · wechat · 2026-07-15
这篇公众号文章在讨论一篇被 ICML2026 接收的论文：作者不改模型结构、不训练新模型，只通过修改 Prompt，让模型显式输出采样概率，从而缓解 LLM 的 **mode collapse（模式坍缩）**。 文章的核心脉络是： - 论文提出 **Verbalized Sampling（VS）**，通过提示词让模型“说出”自己的采样分布。 - 作者认为，模型输出趋同不只是算法问题，也和偏好数据中的 **典型性偏差** 有关：人类标注者更偏好流畅、熟悉、常规的答案。 - 实验显示，在创意写作任务中，VS 能把多样性提升到普通提示的 **1.6～2.1 倍**，且不明显损害事实准确性和安全性。 - 文章也同步呈现了 Reddit 社区的争议：有人认为这类工作太“像 prompt 工程”，创新不足；也有人认为，只要假设、论证和实验完整，推理阶段方法同样可以成为研究核心。 文末还提到，这类研究与 CoT 的早期形态有相似之处：最初也只是“一句 Prompt”，但后来逐渐发展成系统性研究方向。
「研究」频道最新
- AI 工具正在改写形式化数学的反例发现 — burny_tech · 2026-07-21
- 可解释性研究的实证软肋：缺乏基线对比与显著性检验 — burny_tech · 2026-07-21
- Generative Bionics 人形机器人六个月走到可行走平台 — CyberRobooo · 2026-07-21
- 免疫基础模型 MAESTRO 试图预测未来免疫轨迹 — arjunrajlab · 2026-07-21
- 安全强化学习方向约束论文被 IROS 2026 接收 — Jan_R_Peters · 2026-07-21
- 图工程正在取代简单循环，成为 AI 开发新话题 — TheTuringPost · 2026-07-21