arXiv 新方法:对比多个 LLM 预测,自动提炼 AI 预测的关键分歧点

universeinanegg · x · 2026-10-22

论文 arXiv:2610.21006 提出验证 LLM 预测可靠性的新思路:当你问语言模型'顶级模型 API 价格到 2027 年是否会减半'时,它会写出十页推理,但哪些论据真正决定了结论?'crux'(关键分歧点)只有通过对比多个预测才能验证。

方法流程:让模型(如 Claude Opus)对同一问题生成 30 份预测(如 7%-15% yes),通过两两差异提取分歧点,忽略改写重复,汇总出真正的 crux 列表,如'算力短缺何时缓解''近等价便宜模型是否削弱高端定价权''OpenAI 与 Anthropic 是否选择利润率而非市场份额'等,示例中提取出 80 多个。核心洞见:crux 是预测分布的属性,而非任何单一预测的属性。