Optical Flow Estimation using a Spatial Pyramid Network  

spynet 

 

  本文将经典的 spatial-pyramid formulation 和 deep learning 的方法相结合,以一种 coarse to fine approach,进行光流的计算。This estiamates large motions in a coarse to fine approach by warping one image of a pair at each pyramid level by the current flow estimate and compute an update to the flow. 

  我们利用 CNN 来进行每一层 flow 的更新,而不是传统方法中目标函数的最小化。与 FlowNet 相比,本文的方法不需要处理 large motions;这些已经在 pyramid 中处理了。该方法的主要优势有:

  1. our Spatial Pyramid Network is much simpler and 96% smaller than FlowNet in terms of model parameters. 

  2. since the flow at each pyramid level is small (pixel), a convolutional approach applied to pairs of warped images is appropriate.  

  3. unlike FlowNet, the learned convolution filters appear similar to classical spatio-temporal filters, giving insight into the method and how to improve it.   

 

  现有方法存在的 主要问题

  将两张图直接 stack大一起,放到 CNN 当中。当两帧图像之间的 motion 大于 one or a few pixels, spatial-temporal convolutional filters 将不会收到有效的相应。也就是说,if a convolutional window in one image does not overlap with related image pixels at the next time instant, no meaningful temporal filter can be learned. 

  这里需要解决两个关键性的问题:1. 长期依赖的问题;  2. detailed, sub-pixel, optical flow and precise motion boundaries。FlowNet 是尝试在一个网络中解决这两个问题,而该方法则是用 CNN 来解决第二个问题,用现有的方法来解决第一个问题。

  

  Approach:

  本文用 spatial pyramid 的方式,from coarse to fine 的方法来解决 large motion的问题。 

  

  其流程图如下所示:

  

  

  

  在训练上一层网络 G 的时候,需要下面几层的初始 flow 结果。而本文得到训练所需的 gt,是根据 gt flow 和 下一层光流图上采样后的结果 之间的差值的得到的。根据这个,来训练当前的网络参数。