「无状态 LLM 无法反事实推理」之争,引出近零成本反事实 token 生成方法
gerardsans · x · 2026-09-05
延续「模型没有自我」的争论:gerardsans 引用 arXiv 论文《Counterfactual Token Generation in Large Language Models》指出 LLM 无内部记忆,自回归生成后无法对已生成 token 的反事实替代(如换主角名字重写故事)进行推理。
该论文提出的解法:基于 Gumbel-Max 结构因果模型构建 token 生成因果模型,使任意 LLM 能以近乎零额外成本做反事实 token 生成,实现极简,无需微调或提示工程,已在 Llama 3 8B-Instruct 与 Ministral-8B-Instruct 上实现并做定量定性评估。
「研究」频道最新
- ChatGPT 5.6 十小时证明渗流猜想，Lean 形式化达 10 万行 — burny_tech · 2026-09-05
- NextLatent：让 Transformer 预测自身隐状态，推理提速 3.3 倍 — burny_tech · 2026-09-05
- Prof. Tom Yeh 出 Full Fine-Tuning vs LoRA 可交互对比图 — ProfTomYeh · 2026-09-05
- 研究:LLM 多智能体系统其实只需约六种通信拓扑 — omarsar0 · 2026-09-05
- Gary Marcus 转发 21 位学者论文：LLM 是通向 AGI 的死路 — GaryMarcus · 2026-09-05
- Burkov 推荐 Peng Ding 新书：补上 AI 缺失的因果推断课 — burkov · 2026-09-05