Modeling Irregular Time Series with Continuous Recurrent Units（ICML2022）

递归神经网络(RNNs)是一个流行的选择建模顺序数据。现代RNN架构假设观测之间的时间间隔恒定。然而，在许多数据集(如医疗记录)中，观察时间是不规律的，并且可能携带重要信息。为了应对这一挑战，我们提出了连续循环单元(CRUs)，这是一种神经结构，可以自然地处理观察之间的不规则间隔。CRU假设一个隐藏状态，它根据线性随机微分方程演变，并集成到一个编码器-解码器框架。CRU的递推计算可以用连续-离散卡尔曼滤波器导出，并且是封闭形式。由此产生的循环架构在隐藏状态和门控机制之间具有时间连续性，可以最佳地集成噪声观测。我们提出了一种有效的CRU参数化方案，可快速实现f-CRU。我们在大量具有挑战性的数据集上对CRU进行了实证研究，发现它可以比基于神经常微分方程的方法更好地插值不规则时间序列。

读者总结：论文的创新点：1）将kalman filter与encoder-decoder结合起来，实现对潜在状态的更新。当然文中的难点在于kalman filter是如何实现结合过程的，文中提到使用prediction和update两个过程交替实现，但是这两个过程是与ODE结合起来后不容易理解。

总结：文中主要关注不规则时间序列采样问题

背景：1）离散的rnn很难建模不规则时间序列采样数据，因为它们不能反映底层时间过程的连续性。

2）关于神经常微分方程(神经ode)的工作建立了一种优雅而实用的方法来建模不规则采样的时间序列

基于神经ODE的循环架构通过常微分方程(ODE)确定观测之间的隐藏状态，并在观测时间使用标准RNN门控机制更新其隐藏状态

方法：

我们提出了连续循环单元(CRU)，一种用于不规则采样时间序列建模的概率循环结构。编码器将观测数据映射到一个由线性随机微分方程(SDE)控制的潜在空间。利用连续离散的卡尔曼滤波公式，给出了潜态在观测值间传播的解析解和新观测值积分的更新方程。采用线性SDE状态空间模型和卡尔曼滤波有三个优点。首先，概率状态空间为不确定性驱动的门控机制和预测的置信度评估提供了不确定性的明确概念。其次，由于卡尔曼滤波器是线性滤波问题的最优解(Kalman, 1960)，门控机制在局部线性状态空间中是最优的。第三，在任何时间点的潜在状态可以解析，因此绕过需要数值积分技术或变分逼近    （卡尔曼过滤器和线性随机微分方程的结合）

备注：

CRU是一种用于处理观测时间不规则的序列数据的RNN。它采用非线性映射(神经网络编码器和解码器)来将个体观察与潜在状态空间联系起来。在这个潜在状态空间中，它假设一个连续的潜在状态，其动态根据线性SDE演化。CRU的递归计算可以使用连续-离散卡尔曼滤波器(Jazwinski, 1970)导出，并且是封闭的形式。因此，CRU具有隐藏状态之间的时间连续性和一个门控机制，可以在任意观测时间优化集成噪声观测。

 Overview of proposed Approach

 

 

序列建模的过程：

 

 

 

 Continuous-discrete Kalman filter

给定潜在的观察值，潜在状态的后验分布(Eqn(5))递归计算，在预测和更新步骤之间交替进行。 

1)PREDICTION STEP
 

 2)UPDATE STEP

 

 Continuous Recurrent Units

CRU是一种循环神经结构，它使用连续-离散卡尔曼滤波器(Eqns)的预测和更新步骤。(9)和(14))在编码器-解码器框架(Eqns(3)和(6)对不规则采样的时间序列进行序贯处理。图2给出了CRU单元的概述。算法1总结了递归，CRU单元使用递归来根据顺序输入更新其内部参数，并产生输出序列。 

 

 Flexible and Efficient parameterization of the CRU

1)EFFICIENT IMPLEMENTATION
 

我们开发了快速CRU (f-CRU)，这是一个受益于预测步骤的有效实现的模型变体。 

 

 

 

 

 Empirical Study

1）baseline methods：Recurrent neural networks ODE-based models

 

 总结：

我们开发了CRU，一种有原则地对时间间隔不均匀的时间数据进行建模的RNN。它将连续-离散卡尔曼滤波器引入编码器-解码器结构，从而将时间连续性引入隐藏状态，并将不确定性的概念引入网络的门控机制。我们的实证研究发现，CRU的门控机制加权噪声和部分观测输入数据准确。我们的方法在不规则采样图像数据上优于已建立的递归序列模型(如GRU)，并在不同领域具有挑战性的数据集上取得了比基于神经ode的模型更好的插值精度。