ST-GNN 一类时空图神经网络

原理

ST-GNN 模型在 GNN 模型基础上,同时对时间和空间上的图信息建模。

原文是做从动态人体骨架中识别动作信息的,数据是一个动作视频的骨架序列信息。每一帧中的每个点对应人体骨架结构中的一个点。构图方式:

  • 空间边(spatial edges)根据人体结构,将每一帧中的节点连接成边
  • 时序边(temporal edges)连接相邻两帧中的相同节点

从而,信息在时间和空间域被整合起来了。


img

 

空间聚合

对于空间聚合函数可以用已有的 GNN 模型,例如 GCN、GAT 等。


img

 

时间聚合

对于时间聚合函数也有多种可选的方案,例如 LSTM、Self-Attention 等。


img

 

Others

持续更新中…

 

参考文章