用行列式点过程让 LLM 采样既各自优质又彼此多样
xtimv · x · 2026-11-21
研究者 xtImv 发布论文《A Model of Diverse Sampling from Language Models》,解决 LLM 多样采样问题:让模型生成 10 个答案时,往往是同一思路的 10 个变体,而该工作目标是采样出「个体都优质、整体又多样」的输出集合。
- 核心方法:重新启用行列式点过程(DPP)——一种定义在输出集合上的分布,当集合成员质量高且嵌入向量方向彼此不同时,该集合的概率更高。
- 作者展示了一个直观可视化:对「生成排序算法」的 prompt 采样多个代码片段,用代码语言模型嵌入后经 PCA 投影到 3D,颜色标注算法家族,可见 Quicksort、Merge、Insertion、Heapsort 等各族算法被清晰分开。
- 论文附有实验验证方法有效。
「研究」频道最新
- 循环模型实测:训练仅多花 7.5% 算力,推理省下 140% — cephaloform · 2026-11-21
- tenobrus 加盟 METR,参与发布模型时间跨度评测新报告 — morqon · 2026-11-21
- 黎曼猜想证明传出,数学家开始追问选择公理能否弱化 — esrtweet · 2026-11-21
- 用股票曲线当学习率调度:四人直播四场预训练实验 — sandylikesfrogs · 2026-11-21
- RoboCap-10k 开源:11 国采集的 1 万小时第一视角机器人数据 — pabbeel · 2026-11-21
- AI 证明广义黎曼猜想?nanoda 独立内核通过 GRH 的 Lean 编译 — aran_nayebi · 2026-11-21