Floridi 称主流 LLM 的内核只做抽样,溯因只是表面现象

What Kind of Reasoning (if any) is an LLM actually doing? On the Stochastic Nature and Abductive Appearance of Large Language Models

Luciano Floridi, Jessica Morley, Claudio Novelli, David Watson

cs.CL, cs.AI

2025-12-11

Floridi 等人认为,token 补全式 LLM 只按概率续写下文,看着像溯因,是因为语料写满了人类解释句式,能提出假设,却不能自行核验真伪。

这篇在解决什么

冷天车打不着,模型列出电瓶和机油,再指定电瓶「最可能」。这像溯因。溯因(abduction)由皮尔士提出:从结果猜一个可被新证据推翻的原因。哈曼把比较的那一步叫做最佳解释推理(inference to the best explanation,IBE),在几条假设中选若为真就能把证据讲得最好的一条。

Pareschi(2023)写过,GPT-4 能给症状和犯罪线索配上像样的解释。αNLI 这种二选一的结局题,也常被说成接近人类(Balepur 等,2024)。Floridi、Morley、Novelli、Watson 追问的是机制,范围只包括 token 补全的纯文本主流模型,以 GPT 系列为参照。多模态和其他生成范式先搁下。

方法

没有新模型,也没有新榜。拆开的是两层:内部如何生成,外部为何像解释。

弱溯因只提出说得通的故事。强溯因再比较简单、合背景和覆盖面,更接近 IBE。开放问题下,模型常给出几条假设;选项给定时,会挑更像人类选择的结尾。αNLI 测的是后一步(Bhagavatula 等,2020)。

训练仍是预测下一个 token。Transformer 以因果自注意力拟合给定前文的条件分布,权重保存共现和句式。生成可以贪心,也可以按 temperature(抽样随机度)抽样。Shanahan(2022)用登月问句说明:答出来的是该前缀在语料里最常见的续写。

这在统计上是先验预测抽样,沿已学分布往下写,没有外部回路去校后验。发现语境里的「提出假设」,模型模仿得到;辩护语境里的核对,默认缺失。检索、代码解释器或人工复查属于后加。

像解释,是因为语料写满「因为」和问答套式。只训练占星文本,答案就在占星上说得通。逐步推导也是套式,「let's think step by step」推进的是与正确解共现高的写法(Wei 等,2022;Kojima 等,2022),演绎并没有开始。沿这条观察,输出被叫做零阶溯因:见提示,接一条像假设的下文。

咖啡洒了、人倒在厨房,模型会并列滑倒和晕倒,再偏向滑倒。少见问题它就编综合征或假文献:确定口吻的完整回答,比承认不知道更像训练文本。用户爱听的解释被优先生成。证据不够仍要解释,文中称为过度溯因,sycophancy(Sharma 等,2023)算在同一类。

结果

这篇没有自己的分数。

方法指标结果
主流 LLM 做 αNLI相对人类转述为接近人类(Balepur 等,2024),无分差
GPT-3/GPT-4 做类比、瑞文相对人类Webb 等(2023)称部分题持平或超过人;这篇把这看成题型熟悉,一改就脆
GPT-4 等做 SCAR结构类比是否对齐Yuan 等(2023):熟的比喻会说,新题对不齐
GPT-3.5 与 GPT-4会不会接受谬误Payandeh 等(2024):未要求批判时常常接受,无比例
与人协作提出假设假设能否供人跟进Zhou 等(2024)、Pareschi(2023):有的值得查,混有无关项

抽样在内核,溯因在表面。偶尔超过人,被解释为模板过拟合:多种解法在语料里叠在一起,题面改动后就失败。失败的幅度没有测。

反驳把边界收紧。类比只对输出,不对信念。超过人不证明真推理。因果常识是词语共现,「烟」写出「火」,没有身体经验。讨论限于大模型和合适提示。GPT 的后继被归于规模和数据,GPT-5「多核几点」没有表。GPT 5.1 仍是 token 补全,推理等于先写隐藏草稿。算数靠外挂计算器,真溯因也得外加。

为什么重要

榜单若只奖「像解释」,奖到的是句式概率。改题面就掉分,在这里是预期中的现象。

可用在发现阶段。实验异常、案情、鉴别诊断都能多抛假设。Pareschi 的犯罪例子里,有的假设值得查,核对却只能靠人或检索、知识图谱、验证模块。裸答案被比作论坛匿名帖。医疗和法律里直接采用,会把口吻当成已核对的结论。

这篇没有新模块,也没有性能数字。跳不出语料,也分不清自己对不对,这两点他们接受。成功等于碰巧,他们不接受:解释句式在语料里是系统的,界面再把回答显示成推理。

局限与存疑

第 7 节承认:样本偏 2025 年的大模型,小模型错觉更弱;未来系统不预判;记忆和注意力没写;「解释」未按统一性或因果的形式标准定义。伦理只留一句,令人信服的错解释会把猜测当成知识,医疗和法律不加核对就有风险(Lenat、Marcus,2023)。

数字几乎全缺。被点名的实验都没有分数、样本或对照进正文,「接近人类」无法知道差多少。两段对话是原论文编的。GPT-5 与 GPT 5.1 的说法没有测量,也没有对上带检索或验证器的系统。

零阶溯因这个称呼会帮倒忙:论证要说明没有溯因,标签却拿溯因给输出分档。脚注里 Yuan(2023)更硬,仅靠提示能做下游任务,当且仅当任务落在预训练导出的范畴内。正文没把它做成评测办法。

术语

原文与代码

社区讨论

相关论文

全部论文解读