ICLR 2023 Oral | 漂移感知动态神经网络加持，时间域泛化新框架远超领域泛化&适应方法

• 作者：Guangji Bai*、Chen Ling*、Liang Zhao (* equal contribution)
  
• 单位：Emory University
  
• 论文链接：https://arxiv.org/abs/2205.10664
  

图 1：时间域泛化的说明性示例

• 
  难以刻画数据分布的漂移及其对预测模型的影响
  
  。对随时间变化的分布建模需要使模型对时间敏感 (time-sensitive) 。现有方法无论是直接将时间作为输入数据的特征，或是将模型
  
  参数
  
  仅仅视作随时间变化的函数，只要模型的动态和数据的动态没有被整体建模，这些方法就不能很好地将模型泛化到未来的数据。
  
• 
  在追踪模型动态时缺乏表达能力
  
  。如今，
  
  深度学习
  
  的成功离不开大模型 (例如 Transformer)，其中
  
  神经元
  
  和模型
  
  参数
  
  连接成为一个复杂的计算图，然而这也极大增加了时间域泛化问题中追踪模型动态的难度。一个具有强表达能力的模型动态刻画及预测需要将数据动态
  
  映射
  
  到模型动态，也就是模型
  
  参数
  
  诱导的计算图随时间变化的动态。
  
• 
  难以对模型性能给出理论上的保障
  
  。虽然在
  
  独立同分布
  
  的假设下对
  
  机器学习
  
  问题有着丰富的理论分析，但类似理论难以推广到分布外 (Out-of-Distribution, OOD) 假设以及数据分布随时间变化的时间域泛化问题。因此，有必要加强关于不同时间域泛化模型的能力及关系的理论分析。
  

• 开发了一种全新的基于
  
  贝叶斯理论
  
  的自适应时间域泛化框架，可以按照端到端的方式进行训练。
  
• 创造性地将
  
  神经网络
  
  模型视为动态图，并利用
  
  图生成
  
  技术来实现完全时间敏感的模型。
  
• 提出使用序贯 (sequential) 模型自适应地学习时间漂移，并利用学习到的序贯模型来预测未来时域的模型状态。
  
• 我们对所提出方法在未来时域上的不确定性
  
  量化
  
  (uncertainty quantification) 以及泛化误差 (generalization error) 进行了理论分析。
  
• DRAIN 框架在多个公开真实世界数据集上显著超过了以往的领域泛化和领域适应方法，在时间域泛化任务上取得 SOTA。
  

首先，我们考虑的是当数据分布随时间变化的情景。训练时，给定任意 T 个时间点 t_1≤t_2≤⋯≤t_T，我们有每个时间点观测到的源领域 D_1,D_2,⋯,D_T, 其中

。这里，x_i^((s) )、y_i^((s) )、N_s 分别对应时间点 t_s 的样本输入特征、标签以及样本量，X_s、Y_s 表示时间点 t_s 的特征及标签空间。训练好的模型将在

未知

的未来时刻 t_(T+1)>t_T 的领域 D_(T+1) 上进行测试。由于是领域泛化问题，因此训练过程中不允许出现任何未来领域 D_(T+1) 的信息，例如无标签数据。

图 2：DRAIN 总体框架示意图。

给定

神经网络

在历史领域

上学习得到的历史状态 \{ω_(1:s) \}，我们的目标是如何端到端地外插得到

神经网络

在新的领域

上的

参数

状态 ω_(s+1)，并且得到良好的预测性能。事实上，考虑到我们将

神经网络

的

参数

变化 {ω_(1:s)} 视作一个动态网络的演化，一个自然的方法即为通过模拟 {ω_(1:s)} 随时间如何演化来学习得到该动态网络的隐分布 (latent distribution)。最终，我们从动态网络的隐分布中采样即可得到未来时间点

神经网络


参数

的预测值 ω_(s+1)。

不同于现有的在单个域上训练和

正则化


神经网络

的工作，在这里我们专注于直接搜索具有「良好结构」的网络分布。最后，采样得到的当前时刻

神经网络


参数

ω_s 被图编码器 G_η (⋅) 转化为 f_θ 在下一时刻的输入。整个框架顺序地在每一个训练领域上优化，即基于当前领域训练集

来生成 ω_s 来最小化以下

目标函数

这里

损失函数


由具体任务决定，比如回归任务的 MSE 或者分类任务的 cross-entropy。

4. 更少的遗忘和更好的泛化能力