PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume
这篇论文是Joint Unsupervised Learning of Optical Flow and Depth by Watching Stereo Videos的前置
网络结构
输入的特征分为6层,第一层为输入图片,第二层开始为ConvNet下采样的输出, 输出光流
Warping Layer
在第L层,将第二张图第l+1层的feature通过上采样转换到第一张图 采用的是bilinear interpolation
Cost volume layer
表示的是一个pixel与下一时刻对应pixel match的cost。使用特征的coorelation来表示
具体:输出是其实就是左视角每一个点与warp结果对应周围个pixels的特征向量求相关性
Optical flow estimator
这是一个多层CNN,输入是Cost Volumn, 第一图的特征以及上采样的光流,它的输出是第层的光流.不同层之间的CNN特征不共享,
Context Network
使用最终输出的光流以及前一层的特征作为输入,再输出更精确的光流值,多使用dilated Conv去提升感受野