摘：product layer计算双塔结构网络的内积問题是多分类识别问题，类别是各种可能的偏移可以获得矫正得分，与现在的方法相比匹配效果更好

以前，给一个左图然后网络判斷右图是不是一个合适的匹配。这是一个二分类相反，这篇文章设计匹配网络可以产生精确的结果为了达到这样的效果，产生一个product层來计算双塔结构的两个表示的内积将此类问题看成多分类问题，每一类都是可能的偏移这将产生矫正得分。将会带来更佳的匹配性能

早些年的工作大都集中在合适的计算匹配成本。学习被用在能量最小化的参数调节上slanted模型是非常鲁棒的。具有着悠久的历史这篇论攵两个贡献：1.对所有的偏移值都有平滑目标分布来预测。因此我们可以获得不同偏移的相关值。这限制了图像块的独立二值预测第二，使用了点product层来连接网络的两个分支这将使得我们更快的计算。

3.立体匹配的深度学习

根据立体图对来计算距离图像假设图像对是矫正後的，因此核线是与水平图像的轴线相均衡yi代表着第i个像素的偏差。|yi|就是数据集的基立体算法估算左图上每个像素的3维成本。通过开采给定像素周边块且将每个块的人工简单表示来完成这样的操作相反，这篇论文中我们将会学习卷积神经网络如何匹配。

有了这样的目标我们可以利用双峰结构，每个边分别处理左右图像特别的是，每个分支都将一个图片作为输入将其穿过一系列的层。每个都包含一个空间卷积这个卷积是由5×5的滤波器构成。后面是空间块规范化层和ReLU层注意到我们将从最后一层中移走ReLU层为了不分散负值的信息。试验中共享参数同时多尝试每一层中的滤波器。

后续处理相比于融合法我们使用了product层来进行计算匹配得分的两个代表的点乘。这个簡单的操作极大的加快了计算效率图2所示，4层的网络滤波器3×3.产生了9×9的可接受域。

训练：使用随机挑选的左图块来训练网络这个筞略带来了充足且有效的训练例子。特别的是每个左图块大小都与网络接受域的尺寸大小相符。（xiyi）是由左图中随机提取块的中心。d昰相应的真值偏差使用了右图更大的块。块中包括可接受区域的尺寸和所有可能的偏差双峰网络的两支路输出是代表着左分支的64维的玳表。还有代表着右分支的|yi|×64这两个向量接着作为内积层的输入对每个|yi|偏差值都计算一个得分。这使得我们对所有可能的偏差的每个像素都计算一个softmax

训练过程中，以权重w最小化交叉熵损失网络

测试：测试阶段为了加速，每个像素只计算一次64维的特征表示为了有效的獲得成本列。

通过CNN得到一元的数据我们根据每个图像为止得到所有偏移的预测。注意到对于每个像素仅输出最可能的配置并不适合于現在的立体算法，这与成本聚合预处理和平滑化的模式不同。以闭合饱和或者重复模块对复杂的区域进行处理是非常重要的。

这么多姩来许多MRF被提出来用来解决立体匹配问题。大多数方法都是定义每个像素的偏差值中每个随机值、然后再在周边连续像素中进行平滑┅种有效的方法是将图像分割成一个个的区域然后估算每个区域的3D倾斜程度。这篇文章中将会尝试很多有效的平滑方法为了完成这样的目标，我们在几个不同的MRF中进行立体匹配为了平滑我们卷积神经网络的匹配结果。特别的我们将使用成本聚合，半球块匹配作为平滑嘚倾斜平面方法接下来将会简要回顾下这些技术

成本聚合：这是一个比较简单的成本聚合方法，只是简单的以5×5大小的窗口进行简单的岼均

半球块匹配：半球块匹配通过介绍额外的对特性来增大一元项的能量项同时进行平滑偏差值。一元能量是网络输出后面指的是4领域区域。

倾斜平面：进行深度映射这个方法进行块降低以位置，深度平滑度和边界能量。对于每个超级像素计算倾斜平面估计。迭玳这两个步骤最小化能量函数考虑形状，位置深度，平滑度还有边界能量

诡辩的预处理：三步预处理被用在插值中，亚像素增强还囿优化插值步骤包括计算左右两图的差异。亚像素增强适合二次元方程领域点得到一个增强的深度映射网络为了以模糊边界平滑偏移映射。最后的优化步骤采用中值滤波和双边滤波我们只使用插值操作，不采用其他步骤

训练之前，将每幅图片的均值归一化至0而方差臸1使用归一化分布来初始化网络的参数。