用SRM-LoRA缓解LLM幻觉

Round_Apple2573 · reddit · 2026-07-14

作者介绍了自己在 ICML workshop 被接收的工作 **SRM-LoRA**，目标是通过数学方式缓解 LLM 幻觉。 ### 方法要点 - 用一种受 **sub-Riemannian metric** 启发的 LoRA 更新方式，重塑反向传播中的梯度方向。 - 度量依据是参数对 loss 的敏感度，也就是类似 `gradient(loss) / gradient(parameter)` 的信号。 - 这样可以抑制“代价高”的更新方向，同时**不改变前向计算和推理开销**。 ### 结果与论点 - 只在 **HaluEval-QA** 上训练，就能在相关和分布外基准上提升事实性。 - 作者认为，数学在 AI 里更有效的关键，不是简单引入更复杂的可学习度量，而是让不同理论中的元素按具体问题被恰当设计。