基于移动自回归的时序扩散预测模型

在人工智能领域，目前有很多工作采用自回归方法来模拟或是替代扩散模型，其中视觉自回归建模（Visual AutoRegressive modeling，简称 VAR）就是其中的典型代表，该工作利用自回归取得了比传统基于噪声的扩散模型更好的生成效果，并且获得了人工智能顶级会议 NeurIPS 2024 的 best paper。

然而在时间序列预测领域，当前主流的扩散方法还是传统的基于噪声的方法，未能充分利用自回归技术实现时间序列建模。

近期，来自上海交通大学和东方理工的研究团队推出了自回归移动扩散（Auto-Regressive Moving Diffusion，简称 ARMD）模型。ARMD 模型受经典的自回归移动平均（ARMA）理论启发，重新定义了时间序列的扩散过程：如图一所示，与传统的基于噪声的扩散方法不同，

ARMD 将时间序列的演进看成是一个扩散过程，并采用了基于链式扩散的方式。它的前向过程由未来序列扩散到历史序列，并根据扩散步数通过滑动序列的操作生成中间状态；反向过程则通过历史序列‘采样’生成未来序列，实现了采样和预测目标的统一。

▲ 图1. 已有的基于噪声的时序扩散方法和ARMD的时序扩散方法对比

相比于传统基于扩散的时序模型，ARMD 并没有将时间序列预测视为从噪声起步的条件生成任务，而是充分利用时间序列数据的连续演化特性，实现了扩散机制与时间序列连续性之间的对齐，从而提升了模型性能。

该项研究以《Auto-Regressive Moving Diffusion Models for Time Series Forecasting》为题，被 AAAI 2025 接收。

论文题目：

Auto-Regressive Moving Diffusion Models for Time Series Forecasting

论文链接：

https://arxiv.org/abs/2412.09328

代码链接：

https://github.com/daxin007/ARMD

方法介绍 针对时序预测任务，该研究用历史序列去预测未来序列，其中 L 为历史序列的长度，T 为未来序列的长度。在该任务中，研究人员将历史序列的长度设置为与未来序列相同，即。 在 ARMD 中，时间序列的演进被概念化为一个扩散过程，时间序列的每一步都可以看成是扩散模型的一个状态，如图二所示。 未来序列（下标表示在序列中的位置，上标表示在扩散模型中的状态）作为前向扩散（演进）过程的初始状态，而历史序列则是最终状态。 不同于传统方法逐渐添加噪声生成中间状态，ARMD 通过对进行滑动操作来生成中间状态（序列），使其逐渐接近历史序列。 这一过程不仅保持了时间序列的连续性，还确保每个中间状态反映了时间序列演进的特定阶段。由初始状态到中间状态添加的内容可以定义为演进趋势，类似于传统扩散模型中的噪声。 反向去噪（逆演进）过程则利用历史序列来迭代生成（预测）未来序列。ARMD 采用了一个基于距离的去噪（逆演进）网络，根据中间状态和时间步 t 得到时间序列的演进趋势。

▲ 图2. ARMD 扩散模型示意图。在前向扩散（演进）过程中，未来序列逐渐被转化为历史序列。相反，反向去噪（反演进）过程则利用历史序列迭代地生成 / 预测未来序列。

在最终的采样（预测阶段），ARMD 从历史序列开始，迭代生成对未来序列的预测，使采样过程和最终的时间序列预测目标对齐，从而使 ARMD 成为无条件的时序扩散模型。采样过程遵循 DDIM（Denoising Diffusion Implicit Models）的方法，用预测的演进趋势替代传统扩散模型中预测的噪声，并通过逐步去噪（反演进）得到对模型的最终预测。

模型结果 经过在七个广泛使用的时序预测数据集上的大量实验，ARMD 模型的表现超越了现有的基于扩散的时间序列预测模型，并且和最先进的端到端时间序列预测模型取得了相当的效果。模型的预测结果如表一和表二所示：

▲ 表1. 时间序列预测实验之与基于扩散的时间序列预测基准模型的结果比较。最佳结果以粗体突出显示。“最佳次数” 列表明模型取得最佳结果的次数。

▲ 表2. 时间序列预测实验之与端对端时间序列预测基准模型的结果比较。最佳结果以粗体突出显示。“最佳次数” 列表明模型取得最佳结果的次数。 另外，由于扩散过程的优化，ARMD 模型在训练推理时间和预测的稳定性方面相对于之前的时序扩散模型也有明显的优势。ARMD 模型的预测效果示例如图三所示：ARMD 在具有明显周期性或趋势特征的时间序列上展现了卓越的预测性能，能够有效地捕捉这些时间序列中的相关特征，且相对于其他扩散模型预测更加稳定。

总结综上所述，Auto-Regressive Moving Diffusion (ARMD) 模型通过重新诠释时间序列的扩散过程，结合时间序列的自回归特性，成功弥合了扩散机制与时间序列预测目标之间的差距。 不同于传统方法从白噪声开始逐步添加噪声，ARMD 采用链式扩散策略，通过滑动操作将未来序列逐渐转化为历史序列，更准确地模拟时间序列的演化路径。该模型还引入了独特的反向去噪（逆演化）过程，利用历史序列迭代生成（预测）未来序列，有效捕捉时间序列的特征。实验结果和理论分析共同证明了 ARMD 作为一种稳健且有效的时间序列预测方案的巨大潜力。

▲ 图3. ARMD 和 Diffusion-TS 在给定相同历史序列的情况下，分别做出的 10 次不同预测的分布情况。ARMD 实现了更稳定且准确的预测。