DCRNN:Diffusion Convolutional Recurrent Neural Network

本文详细介绍了扩散卷积的相关知识以及论文DCRNN的研究内容和成果

介绍

• 基本目标是构建一个速度传感器网络，通过给定的历史速度数据以及潜在的道路网络，预测交通情况（速度）
• 挑战性主要在于时空关联性以及长程预测问题的内在复杂性
  • 交通序列的动态变化性——不断出现的特殊事件例如交通事故和上下班高峰导致了不稳定性，使长期预测变得不可靠
  • 道路网络上的交通传感器具备独特的空间关联性——非欧且有向

• 交通预测数十年的发展可以分为两个范畴：知识驱动和数据驱动

  • 知识驱动的方法需要用到排队论并模拟交通中的用户行为
  • 数据驱动的方法依赖静态假设，容易和实际的交通数据相违背

• 之前的数据驱动的方法有的没能建模空间联系、有的用CNN提取空间联系但是是在欧氏空间中建模，还有的在图上建模但是是在无向图上

• 本文用有向图的节点代表传感器，边的权重表示传感器之间的近似性（时空），将动态的交通流当成广播过程建模并且提出了广播卷积（diffusion convolution）操作来捕获空间依赖并提出了应用了广播卷积的广播卷积循环神经网络（DCRNN）。

方法论

交通预测问题

目标是预测根据给定的个道路网络上相关的传感器返回的历史数据预测未来的交通速度，可以用图定义：，其中代表传感器节点，代表边集，代表边的邻接权重（由道路图距离方程计算得到）的矩阵。观测到的交通流数据可以用表示，其中代表每个节点的特征数（例如速度、容量）。达标在时刻观测到的数据，该问题旨在学习一个映射通过过去的个数据预测未来的个数据：

空间依赖建模

把交通流和扩散过程相结合，以抓住交通流动态数据随机性的本质。其中用到了图上的random walk和diffusion convolution，先介绍该知识：

本文中，扩散过程可以表示为——在图上进行random walk，重新开始概率，状态转移矩阵，其中是出度矩阵。在若干步后，这个马尔可夫过程收敛到一个稳定的状态，其第行表示从节点扩散而来的可能性，因此是和节点的相关性：

其中代表做了步扩散过程，由于采用的是有向图，实践过程中会考虑双向扩散，因此为模型提供更大的灵活性，并且能够捕获双向的交通情况。

扩散卷积则被表示为：

其中为卷积核，是卷积核的参数，和分别代表扩散过程和逆过程的转移矩阵

由上述可以定义扩散卷积层，一个将维特征映射到维的层：

其中是输入，是输出，，其中表示第个输入和第个输出的关联

时间动态建模

采用循环神经网络建模，使用门控循环单元（GRU），把线性层替换为扩散卷积，形成本文提出的扩散卷积门控单元（DCGRU）

其中和分别代表时刻的输入和输出，和分别代表时刻的重置门和更新门，，和分别是相关卷积核的参数，和GRU一样，DCGRU也可以被用来构建卷积神经网络的层并且可以用反向传播算法进行训练

在多步预测过程中采用编码器-解码器的结构，且均为DCGRU。训练过程中，将历史时间序列数据投入编码器中，并且用最终状态初始化解码器。解码器通过和ground truth比对生成预测：

实验

在两个数据集METR-LA和PEMS-BAY上进行实验，实验中将交通读数数据分为5分钟一个窗口，采取Z-Score分割法，70%的数据用以训练，20%用以测试，10%用以验证。为了构建传感器图，采用阈值高斯核构建邻接矩阵，当其小于一个阈值时，将其定为0。其中表示传感器和之间的权重，表示道路网上两传感器的实际距离，表示距离的标准差

实验设置

将DCRNN和其他广泛应用的时间序列回归模型对比：

• HA
• ARIMA
• VAR
• SVR
• FNN
• FC-LSTM

交通预测表现对比

设定metrics:

• MAE
• MAPE
• RMSE

原文

---

• ← Previous Post
• Next Post →

---

---