无监督测量LLM通信：用发射-接收重构评估信息传递
sanmikoyejo · x · 2026-10-31
研究者提出一种无监督的测量系统，用于判断LLM之间的信息是否被接收，无需人工标注。
- 机制：发射方LLM写一个prompt，向接收方LLM传递关于某个构念的信号；接收方尝试重构该prompt，重构程度即成功度量。
- 细节：发射方写prompt p，并用度量m标注条目x；接收方看到(x, m)后，写出能生成该标注方案的prompt p'，并给出标注m'；比较m与m'。
- 发现：该度量对优化器比自一致性、反思式LLM评判等标准无监督指标更有用，且在存在真值的情况下与人类标注高度吻合。
「研究」频道最新
- Relation Therapeutics 发布 PEP-seq:用先导编辑为 DNA 基础模型造训练数据 — anshulkundaje · 2026-10-31
- 活体神经元训练出「绿色模型」，视频生成成本降至 Wan 2.2 的约 1/8 — PeterDiamandis · 2026-10-31
- MIT 研究揭示：往 LLM 权重加噪声免训练提升推理，实为伪装的采样 — kastnerkyle · 2026-10-31
- 新研究从游离表观基因组数据中提取染色质 QTL — anshulkundaje · 2026-10-31
- Ropedia 发布 DONIC：单一策略零微调泛化机器人双手操作 — liuziwei7 · 2026-10-31
- 用真实人脑细胞做 AI？生物计算进展引热议 — EmotionalGuess9229 · 2026-10-31