LLM 数值线性代数综述：从 QR 算法到支撑大模型的矩阵方法

Abdelkader Baggag · hf · 2026-10-07

Abdelkader Baggag 发表综述文章《大语言模型的数值线性代数》，梳理数值线性代数（NLA）如何一路支撑科学计算浪潮：上世纪五六十年代为空气动力学发展出 LR/QR 特征值算法，随后转向稀疏线性系统求解；如今的机器学习浪潮中，LLM 同样以矩阵与张量方法为基础。

文章两大目标：一是向数值方法从业者以易懂方式讲清 LLM 的核心概念；二是审视 LLM 技术所依赖的关键 NLA 概念，并 highlighting NLA 领域近年的重要贡献。作者指出，走向 AGI 的过程中矩阵方法将扮演更重要角色，而变化速度之快对数值线性代数从业者构成适应挑战。