给量子启发序列模型换矩阵门:逐坐标控制记忆,量子动力学预测误差降逾 91%

Complementary Matrix-Gated QKAN Fast-Weight Programmers for Quantum Dynamics Forecasting

Kuo-Chung Peng, Samuel Yen-Chi Chen, Jiun-Cheng Jiang, Chen-Yu Liu, En-Jui Kuo, Yun-Yuan Wang, Tzung-Chi Huang, Prayag Tiwari, Chi-Sheng Chen, Chun-Hua Lin, Yu-Chao Hsu, Tai-Yue Li, Saif Al-Kuwari, Simon See, Kuan-Cheng Chen, Nan-Yow Chen, Hsi-Sheng Goan

quant-ph, cs.AI, cs.LG

2026-07-30

把量子启发 QKAN 快参数编程器的标量门换成低秩互补矩阵门(CMG):逐坐标控制记忆、保住 prefix-scan 并行,七个基准 24/28 配置最优,量子动力学多步预测 MSE ≤ 9.3×10⁻⁴、较标量门改善 ≥91.2%。

这篇在解决什么

这是一篇关于「量子启发」序列模型架构的工作,针对的不是大模型主流问题。它改进的是一种叫 fast-weight programmer(快参数程序员,FWP)的记忆机制:用一个慢网络去「编程」另一组随时间变化的快参数,把这些快参数当作记忆。基于量子启发的 Kolmogorov-Arnold 网络(QKAN)做的 FWP,能把上下文存进随时间变化的快参数里,绕开非线性循环更新里反复求值量子电路、沿时间逐步反向传播的昂贵开销。

但现有 gated QKAN-FWP 有个硬伤。它用一个标量门(scalar gate),把同一个「保留旧记忆 vs 写入新内容」的比例广播到快状态的所有坐标。结果是每个参数被迫共用同一个记忆时间尺度,没法让某些维度记长远、另一些记眼前。

方法

作者提出两个改动。

第一个是自调制(Self-Modulating)QKAN-FWP:让慢网络生成低秩调制矩阵,对「新提案分支」、「旧状态分支」或两者做逐元素调制,替代标量广播。论文对比了四条规则:只调新分支(Only-new)、只调旧分支(Only-old,用 tanh 钳位)、两边都调(Full),以及本文主推的 CMG。

第二个、也是本文主推的 Complementary Matrix Gating(CMG,互补矩阵门控):用同一个 sigmoid 矩阵门 G 保留旧状态,用它的补 1-G 写入新提案:

Θt = Gt ⊙ Θ{t-1} + (1 - Gt) ⊙ Δt

因为 G 是低秩生成的矩阵,每个坐标有自己的保留与写入比例,从而实现逐坐标的记忆时间尺度。关键在于这条更新仍然是「旧状态和新提案的有界凸组合」,并保持仿射结构,所以它依然能用 prefix scan(前缀扫描)并行计算,不必沿时间逐步反传。这是作者反复强调的卖点:拿到了逐坐标控制,没丢掉并行性,而且只付出单分支的调制头开销。

结果

作者在七个单步预测基准、四个序列长度上,把四条自调制规则和标量门做了对照。全部 28 个配置(7×4)里,CMG 变体在其中 24 个取得最低 MSE。在快参数编程器里含 QKAN 模块的架构上,CMG 的提升最稳。

真正吃重的是多步预测。用 CUDA-Q Dynamics 模拟 Jaynes-Cummings 和 transmon-resonator 两种量子动力学,预测 4、8、16 步。CMG 模型在所有预测步数上 MSE 都不超过 9.3×10⁻⁴,相对各自的标量门基线至少改善 91.2%;在 transmon-resonator 上改善达到 99.9% 到 100%。对照之下,Only-new 规则会把性能拉差最多 223%。

参数效率上,CMG 在 QKAN-QKANFWP 上只需 gated 参数量的 139.3%,而 Full 自调制要 182.1%。

为什么重要

对做量子启发序列模型或 fast-weight programmer 的人,CMG 是个干净又便宜的升级:把标量门换成低秩矩阵门,拿到逐坐标记忆控制,同时保住 prefix scan 的并行性和有界凸更新的稳定性。这是它真正的价值区间。

冷水也要泼:这个受众很窄。量子启发的 FWP 远不是序列建模的主流,论文的基准也都是量子动力学(物理仿真)任务。对做通用时序或语言模型的人,这篇的直接借鉴价值有限。

局限与存疑

作者承认,当前公式只面向单变量时间记忆,不显式建模变量间的空间结构,扩展到结构化的时空快状态是他们点名的下一步。读下来还有一点存疑:四条调制规则里 Only-new 在多步预测上明显不稳定(最多恶化 223%),说明这类逐元素调制的稳定性高度依赖具体规则;CMG 之所以好用,和它的「互补凸组合」形式强相关,换一种参数化未必成立。论文对此的消融解释偏少。

术语

原文与代码

相关论文

全部论文解读