 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
神经内科答疑3——运动系统
下载积分：999
内容提示：神经内科答疑3——运动系统
文档格式：DOC|
浏览次数：3|
上传日期： 06:01:21|
文档星级：
该用户还上传了这些文档
神经内科答疑3——运动系统
官方公共微信基于远近景切换的自适应电子稳像方法
专利名称基于远近景切换的自适应电子稳像方法
技术领域本发明涉及一种电子稳像方法，特别涉及一种基于远近景切换的自适应电子稳像方法。
背景技术对于手持或安装在运动载体上的摄像机，摄像机在成像过程中由于手的抖动、载体运动以及外界干扰都会造成图像抖动而导致成像质量下降，使得观察者出现视觉疲劳。对于如移动智能监控和导弹制导等应用场合还会造成无法完成对目标的检测和跟踪。因此，研究图像稳定技术无论对于民用和军用、自动和非自动成像系统都具有重要意义。电子稳像技术(又称数字稳像技术)由于采用数字图像处理技术通过确定图像序列的帧间变换关系进而完成图像抖动抑制工作，无需复杂昂贵机械和光学系统，相对于传统的机械稳像和光学稳像技术，具有体积小、成本低、结构简单、操作灵活、功耗低、可靠性高并且使用范围广特点。可用于基于视频的远程遥控系统、无人车辆自主导航系统、移动智能监控系统、智能手机成像系统、光学卫星遥感系统、视频侦察系统、导弹成像制导系统以及车载控的观瞄系统等。并且随着计算机处理速度的提高及大规模集成电路的发展，低价高清摄像头的普及，电子稳像在各行各业的应用也越来越广泛，有着巨大的市场需求。现阶段出现了多种电子稳像方法，从处理方式上可分为以下两类:基于灰度区域处理的电子稳像技术和基于特征点提取与匹配的电子稳像技术，其中，基于灰度区域处理的电子稳像技术包括:基于灰度块匹配的稳像技术、基于位平面匹配的稳像技术、基于灰度投影的稳像技术、基于相位相关的稳像技术等。基于灰度块匹配的稳像技术因其算法实现简单、易于硬件实现的特点在稳像技术中最常使用，但是存在估计精度和计算复杂度矛盾。即块匹配方法的稳像精度取决于块的大小、搜索策略和匹配准则，而这些因素又影响算法的计算量，直接后果是影响算法的实时性。虽然近些年公开了不少改进块匹配的匹配精度的算法，但是这些方法没有从根本上解决算法精度和实时性的矛盾。现阶段基于灰度块匹配的稳像技术有着自身难以克服的局限:首先，以上灰度块匹配的算法只能估计与补偿帧间的随机平移抖动，对帧间的随机旋转抖动却达不到很好的稳定效果。而在实际情况下，随机旋转抖动是手持成像装置抖动的重要产生因素，但利用现有的灰度处理算法无法达到补偿随机旋转抖动的目的。其次，以上公布的灰度块匹配算法对视频中所摄前景物体有特殊的要求。而实际情况下，视频中会常包含有较多或者较大的前景运动物体，而块的选择有可能位于运动着的前景物体上，最终会因运动估计错误导致稳像失败。如果视频图像中央存在一个较大的运动物体块，利用块匹配得到的运动估计不仅包含有摄像机运动，还有前景物体块的运动，最终将导致帧间随机运动估计错误，稳像失败。而基于位平面匹配、灰度投影和相位相关的电子稳像技术，虽然有较高的算法效率，但是仍然存在仅可估计平移运动，而对旋转运动却无法估计的问题。同时，位平面匹配算法稳像精度受限于位平面的选取以及图像的灰度分布；灰度投影稳像技术仅适用于图像灰度信息丰富的场景，而对灰度信息相对单一的场合则无法完成满意的稳像效果；相位相关稳像技术，虽然对于大的平移运动场合也能取得较好的性能，但是对多运动目标的场景将出现多个相关峰值的问题，影响稳像效果。对于基于特征点匹配稳像技术较灰度块匹配的方案有更强的适应性，可以针对复杂的图像抖动运动形式进行运动估计和运动补偿。但是，该类稳像技术的稳像精度依赖于特征点的提取和匹配精度，而对特征不明显或是特征过于集中于局部区域时将出现特征误匹配率高的问题，稳像效果较差。同时，该类算法普遍计算复杂度较高，尤其对于复杂背景环境和各种运动有较强适用性的特征匹配算法(如SIFT算法)更是难于实时实现。另外，目前稳像研究存在的一个问题是没有根据成像距离不同来选择图像帧间运动模型，一般都是假设帧间图像运动满足相似和仿射变换关系，从而导致近距离成像过程中估计的运动参数存在较大误差，导致稳像效果不佳。虽然目前有些学者提出根据输入视频运动形式判定来确定图像帧间运动模型(如正交变换模型、仿射变换模型和透视投影变换模型等)，事实上对于是图像帧间运动满足何种模型，主要是由摄像机与被摄物的距离以及成像面和被摄物体所处平面的角度决定的，而不是摄像机的运动形式。另外，对于远距离物体成像，尽管摄像机进行了平移，水平扫动，垂直扫动，旋转，镜头缩放等运动，但是这时的透视效果不明显，直接使用透视投影变换模型，可能导致模型求解出现病态，无法获得准确的模型参数。而且复杂运动形式的判定会导致的运算量大大增加，严重影响稳像算法的实时性。同时，现有的稳像技术在对于实时或后期的视频进行稳像处理时，采用的大多方法是以视频首帧为后续帧运动补偿的参考帧，但是这样会使得帧间运动估计误差不断积累，导致后续补偿误差越来越大，甚至导致稳像的失败。虽然某些稳像技术进行了此方面的弥补，但是存在的问题是:改变参考帧后，新参考帧的前后帧图像会出现较大的‘跳跃’，反而增加了视频的抖动。所以目前的稳像方法存在对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题。
本发明的目的是为了解决目前的稳像方法对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题，本发明提供一种基于远近景切换的自适应电子稳像方法。本发明的基于远近景切换的自适应电子稳像方法，它包括如下步骤:步骤一:获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值，则进入远景处理模式，转入步骤二 ；若当前焦距值f小于预设的近景焦距阈值f2，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；步骤二:进入远景稳像模式，对拍摄的视频做如下处理:步骤二一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤二二:对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；步骤二三:对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得巾贞间旋转运动参数估计，相邻巾贞为所述巾贞的前一巾贞，巾贞间表示所述巾贞与前一帧之间；步骤二四:对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每巾贞的巾贞间旋转运动参数；步骤二五:利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；步骤二六:将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；步骤二七:对步骤二六补偿后的每帧图像构建位平面金字塔；步骤二八:自适应确定进行帧间平移运动参数估计时的取块模式；步骤二九:对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；步骤二十:对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；步骤二十一:利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；步骤二十二:将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；步骤二十三:输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；步骤三:进入近景稳像模式，对拍摄的视频做如下处理:步骤三一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤三二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角
步骤三三:利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；步骤三四:利用随机抽样一致性原则(Ransac)，去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；步骤三五:利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；步骤三六:对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；步骤三七:输出步骤三六补偿后的每帧图像，转入步骤一；步骤四:进入中景稳像模式，对拍摄的视频做如下处理:步骤四一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；
步骤四二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角点；步骤四三:利用邻域灰度相关，对步骤四二提取Harris角点后的每帧图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；步骤四四:利用随机抽样一致性原则(Ransac)，去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；步骤四五:利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；步骤四六:对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；步骤四七:输出步骤四六补偿后的每帧图像，转入步骤一。本发明的优点在于，本发明的稳像方法对于复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频具有以下特点:对于远景处理模式下的稳像效果:I平移稳像精度小于等于I个像素。2旋转稳像分辨率可达到0.5度。3旋转稳像角度大于20度。4稳像范围大于20个像素。5对于运动前景物体遮率超过70%视屏也能达到精确的稳像效果。6对处理器为Genuine IntelU4100,主频1.3GHz的计算机,每秒的处理速度大于40帧，符合实时性的要求。对于近景或者中景处理模式下的稳像效果:I每秒的处理速度大于20帧，达到实时性的要求。2对于中景拍摄和近景拍摄的视屏都能达到精确的稳像效果。
图1为本发明的基于远近景切换的自适应电子稳像方法原理示意图。图2为具体实施方式
一中的自适应稳像模式选择方法的原理示意图。图3为具体实施方式
二中K的大小由系统自适应决定方法的原理示意图。图4为具体实施方式
三中建立笛卡尔坐标系图像的方法示意图。图5为具体实施方式
三中由图4的笛卡尔坐标系图像转换后的极坐标系图像的示意图。图6为具体实施方式
五中的检测并校正错误帧间旋转运动参数估计的方法示意图。图7为具体实施方式
六中的建立的位平面金字塔的结构示意图。图8为具体实施方式
八中的自适应取块并利用位平面金字塔进行帧间平移运动参数估计的方法示意图。
具体实施例方式具体实施方式
一:结合图1和图2说明本实施方式，本实施方式所述的基于远近景切换的自适应电子稳像方法，它包括如下步骤:步骤一:获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值，则进入远景处理模式，转入步骤二 ；若当前焦距值f小于预设的近景焦距阈值f2，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；步骤二:进入远景稳像模式，对拍摄的视频做如下处理:步骤二一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤二二:对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；步骤二三:对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得巾贞间旋转运动参数估计，相邻巾贞为所述巾贞的前一巾贞，巾贞间表示所述巾贞与前一帧之间；步骤二四:对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每巾贞的巾贞间旋转运动参数；步骤二五:利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；步骤二六:将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；步骤二七:对步骤二六补偿后的每帧图像构建位平面金字塔；步骤二八:自适应确定进行帧间平移运动参数估计时的取块模式；步骤二九:对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；步骤二十:对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；步骤二十一:利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；步骤二十二:将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；步骤二十三:输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；步骤三:进入近景稳像模式，对拍摄的视频做如下处理:步骤三一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤三二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角
步骤三三:利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；步骤三四:利用随机抽样一致性原则(Ransac)，去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；
步骤三五:利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；步骤三六:对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；步骤三七:输出步骤三六补偿后的每帧图像，转入步骤一；步骤四:进入中景稳像模式，对拍摄的视频做如下处理:步骤四一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；步骤四二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角点；步骤四三:利用邻域灰度相关,对步骤四二提取Harris角点后的每巾贞图像的Harris角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；步骤四四:利用随机抽样一致性原则(Ransac)，去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；步骤四五:利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；步骤四六:对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；步骤四七:输出步骤四六补偿后的每帧图像，转入步骤一。如图2所示，本实施方式提出了一种自适应切换稳像模式的方案。自适应选择稳像模式，即对于远景稳像模式、近景稳像模式和中景稳像模式的选取，可以让系统自适应的设置，也可人为的选择。在实时稳像处理时，系统要进行自动的选择，此时系统自动提取摄像设备的当前焦距，将此焦距与预设的远景模式焦距阈值相比较，如镜头的当前焦距值超过此阈值，系统进入远景模式，考虑到远景时所摄景物近似处于同一平面，随机运动的主导形式是平移和旋转运动，则利用灰度区域匹配方法进行快速稳像处理。否则，将此时设备焦距再与系统的近景模式焦距阈值相比较，若镜头的焦距小于此阈值时，选择近景模式，考虑到所摄的景物不能再认为处于同一平面，图像的帧间变换形式比较符合射影变换关系，基于射影变换模型，利用改进的特征点匹配稳像技术进行稳像处理。如果镜头焦距在近景和远景模式焦距之间，选择中景模式，此时图像的帧间变换形式比较符合仿射变换关系，基于仿射变换模型，利用改进后特征点匹配稳像技术进行稳像处理。此外，当稳像系统不是工作在实时稳像状态时，可人为的选择远景稳像模式、近景稳像模式或中景稳像模式。
具体实施方式
二:结合图3说明本实施方式，本实施方式是对具体实施方式
一所述的基于远近景切换的自适应电子稳像方法的进一步限定，所述步骤二一、步骤三一和步骤四一中，K的大小由系统自适应决定的方法获得，具体过程为:在稳像过程中:若该组处理单位为第一组处理单位时，K的值为8 ；若该组处理单位不是第一组时，根据处理前一组处理单位时估计出的最大帧间平移运动参数，选择所述K值:若该组处理单位的前一组处理单位的最大帧间平移运动参数超过预设的阈值Mtl时，则K选择为7或8或9 ;若前一组的最大帧间平移运动参数小于此所述阈值Mtl时，则K选择为10或11或12。本实施方式提出的自适应多帧分组处理的方案，提取视频流中的若干连续帧作为一处理单位，进行稳像处理。每组的第一帧作为该组稳像的运动补偿的参考帧，同时当前组的第一帧为上一组的经过补偿后的最后一帧图像。考虑到估计运动平滑时的平滑程度与单组处理帧数密切相关，所以当帧间随机平移运动参数小于系统预定的阈值时，说明视频随机抖动较小，此时将该组的处理帧数取较大值；反之，如果帧间随机平移运动参数大于该阈值，说明视频随机抖动强烈，则设定该组处理帧数取较小的值。该分组处理的方案消除了误差累积的同时，避免了在相邻组过渡处图像会产生‘跳变’的现象，可以使稳像系统针对不同的抖动情况自动确定稳像精度，自适应的达到最佳的稳像效果。如图3所示，为单组处理处理帧数的自适应选择方法，结合图对于当前组的处理帧数K具体的选择方法如下:在处理第一组是，K的初始值为K=8 ；若处理的不是第一组:当卜Ma时，说明巾贞间随机运动比较剧烈，选择的K值应较小，通常取(7，8，9);其中，(
1.基于远近景切换的自适应电子稳像方法，其特征在于，它包括如下步骤:
步骤一:获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值，则进入远景处理模式，转入步骤二 ；若当前焦距值f 小于预设的近景焦距阈值f2，则进入近景处理模式，进入步骤三，否则，进入中景处理模式，转入步骤四；
步骤二:进入远景稳像模式，对拍摄的视频做如下处理:
步骤二一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；
步骤二二:对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像；
步骤二三:对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量求得巾贞间旋转运动参数估计，相邻巾贞为所述巾贞的前一巾贞，巾贞间表示所述巾贞与前一中贞之间；
步骤二四:对步骤二三得到的帧间旋转运动参数估计进行检测并校正错误估计，得到每中贞的巾贞间旋转运动参数；
步骤二五:利用均值滤波对步骤二四得到的每帧的帧间旋转运动参数进行处理，得到帧间有意旋转运动参数和帧间随机旋转运动参数；
步骤二六:将步骤二五所得的帧间随机旋转运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机旋转运动参数，并对该帧图像的累积随机旋转运动进行补偿；
步骤二七:对步骤二六补偿后的每帧图像构建位平面金字塔；
步骤二八:自适应确定进行`帧间平移运动参数估计时的取块模式；
步骤二九:对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计；
步骤二十:对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数；
步骤二十一:利用均值滤波方式对步骤二十得到的帧间平移运动参数进行处理，得到帧间有意平移运动参数和帧间随机平移运动参数；
步骤二十二:将步骤二十一所得的帧间随机平移运动参数进行累加，求取每帧图像相对于该组第一帧的累积随机平移运动参数，并对该帧图像的累积随机平移运动进行补偿；步骤二十三:输出步骤二十二补偿后的每帧图像，进行下一组处理，转入步骤一；步骤三:进入近景稳像模式，对拍摄的视频做如下处理:
步骤三一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；
步骤三二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的SURF角点；步骤三三:利用邻域灰度相关，对步骤三二提取SURF角点后的每帧图像的SURF角点进行帧间角点粗匹配，获得每帧图像的帧间SURF角点匹配对；
步骤三四:利用随机抽样一致性原则，去除步骤三三获得每帧图像的帧间SURF角点匹配对中的误匹配对；
步骤三五:利用步骤三四中去除误匹配对后的匹配对，求取每帧图像的帧间原始射影变换矩阵；步骤三六:对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿；
步骤三七:输出步骤三六补偿后的每帧图像，转入步骤一；
步骤四:进入中景稳像模式，对拍摄的视频做如下处理:
步骤四一:提取视频流中连续K帧图像作为一组处理单位，该组的第一帧为上一组处理单位的运动补偿后的最后一帧，K的大小由系统自适应决定；
步骤四二:对所述一组处理单位的每帧图像进行预处理，提取每帧图像的Harris角占.步骤四三:利用邻域灰度相关，对步骤四二提取Harri s角点后的每巾贞图像的Harri s角点进行帧间角点粗匹配，获得每帧图像的帧间Harris角点匹配对；
步骤四四:利用随机抽样一致性原则，去除步骤四三获得每帧图像的帧间Harris角点匹配对中的误匹配对；
步骤四五:利用步骤四四中去除误匹配对后的匹配对，求取每帧图像的帧间原始仿射变换矩阵；
步骤四六:对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿；
步骤四七:输出步骤四六补偿后的每帧图像，转入步骤一。
2.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二一、步骤三一和步骤四一中，K的大小由系统自适应决定的方法获得，具体过程为:
在稳像过程中:
若该组处理单位为第一组处理单位时，K的值为8 ；
若该组处理单位不是第一组时，根据处理前一组处理单位时估计出的最大帧间平移运动参数，选择所述K值:
若该组处理单位的前一组处理单位的最大帧间平移运动参数超过预设的阈值Mtl时，则K选择为7或8或9 ;若前一组的最大帧间平移运动参数小于此所述阈值M0时，则K选择为10 或 11 或 12。
3.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二二中，对步骤二一提取到的一组处理单位的每帧图像进行极坐标变换，获得极坐标系下的K帧图像的方法为:
以每帧图像的中心为极坐标变换中心，最大极径为该帧图像中心到四边的距离的最小值；极角取样间隔为0.5° ；
对于极坐标变换过程中取样处未定义像素的位置采用线性插值的方法进行处理。
4.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二三中，对步骤二二获得的极坐标系下的每帧图像，利用所述帧与相邻帧的灰度投影向量得到巾贞间旋转运动参数估计的方法包括如下步骤:
步骤二三A:分别取极坐标系下的每帧和与其对应的相邻帧的极角轴灰度投影向量，对所述投影向量分别进行归一化处理；
步骤二三B:将每个所述帧的灰度投影向量分成20段等长度的子向量；
步骤二三C:分别取每帧灰度投影向量的每一子向量，在对应相邻帧的投影向量的对应位置附近进行移动，记录灰度相关系数最大时的移动量，则该移动量为该帧与相邻帧的旋转运动参数的一个估计；则每帧图像的等长度的灰度投影子向量则获得20个旋转运动参数估计；
步骤二三D:在每帧的20个旋转运动参数估计中将出现频数最多的估计量确定为该帧与相邻帧的帧间旋转运动参数估计。
5.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二四中，对步骤二三得到的帧间旋转运动参数估计，进行检测并校正错误估计，得到每帧的帧间旋转运动参数的方法为:
判断得到的帧间旋转运动参数估计a e (k,k+1)是否在预设的阈值区间[-e _，+ 0 _]内，若
6.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤二七中，对步骤二六补偿后的每帧图像构建位平面金字塔的方法为:
步骤二七A:采用均值滤波方式构建3级灰度金字塔:灰度金字塔第2级、灰度金字塔第I级和灰度金字塔第0级；
步骤二七B:对灰度金字塔第2级，提取第4位平面，作为位平面金字塔的第2级；
步骤二七C:对灰度金字塔第I级，提取第5位平面，作为位平面金字塔的第I级；
步骤二七D:对灰度金字塔第0级，提取第6位平面，作为位平面金字塔的第0级。
7.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，步骤二九中，对步骤二七构建的位平面金字塔利用步骤二八确定的取块模式进行由顶至底快速帧间块匹配，得到帧间平移运动参数估计的方法为:
步骤二九A:自适应选择取块模式，在每帧的位平面金字塔的第2级取16匹配块，大小为15*15像素平方；
步骤二九B:将第i匹配块(i = 1,2,3...16)在每帧的相邻帧的位平面金字塔第2级的对应位置附近平移，寻找匹配块上对应像素点异或之和取最小值时的位置，获得16个平移矢量(Axw，4v尸、；
步骤二九C:获得的16个平移矢量中，判断相同平移矢量出现的频数是否大于8，若是，则记此平移矢量为(AX(2)，A y(2))，将平移矢量(AX(2)，Ay )传递给当前帧的位平面金字塔第I级，若否，则转入步骤二九A，自适应选择取块模式选择第二类型取块模式；
步骤二九D:对每帧的位平面金字塔的第I级进行与该帧的位平面金字塔的第2级相同模式的取块；并利用匹配块平移矢量(2Ax(2)，2Ay(2))作参考，，将每帧的每一匹配块移动到该帧的相邻帧位平面金字塔第I级的(2Ax(2)，2Ay(2))位置处，再进行±2个像素范围内的精匹配；获得的16个平移矢量中，将出现频数高于8的平移矢量记为(Ax⑴，Ay(1)),并将位移矢量(Ax(1)，A/1))传递给当前帧的位平面金字塔第0级；
步骤二九E:对每帧的位平面金字塔的第0级进行与该帧的位平面金字塔的第I级相同模式的取块；并利用匹配块平移矢量(Ax(1)，Aya))作参考，将每帧的每一匹配块移动到该帧的相邻帧位平面金字塔第O级的(2Ax(1)，2Ay(1))位置处，再进行±2个像素范围内的精匹配；获得的16个平移矢量中，将出现频数高于8的平移矢量记为(AX(°)，Ay(°))，所述位移矢量(Ax(°)，Ay(0))为该帧与相邻帧的帧间平移运动参数估计。
8.根据权利要求7所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述自适应选择取块模式，方法如下:
初始默认的取块模式为第一类型取块模式，所述的第一类型取块模式为在每帧图像的周边均匀选取12个15*15像素的匹配块，在每帧图像的中心位置均匀选择4个同样大小的匹配块；
所述第二类型取块模式为，在每帧图像的正对角线和负对角线各选择8个15*15像素的匹配块。
9.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，对步骤二九得到的帧间平移运动参数估计进行检测并校正错误估计，得到每帧的帧间平移运动参数方法如下:
判断得到的帧间平移运动参数估计[Δx(k,k+1)，Δy(k,k+1)]是否在预设的阈值区间
10.根据权利要求1所述的基于远近景切换的自适应电子稳像方法，其特征在于，所述步骤三六中，对步骤三五得到的每帧图像的帧间原始射影变换矩阵提取每帧图像的帧间有意射影变换矩阵，并利用帧间有意射影变换矩阵对每帧图像进行随机运动补偿的方法为:
步骤三六A:对步骤三五得到的每帧图像的帧间原始射影变换矩阵中每个参数分别求取平均值，获得由每个平均值所构成的变换矩阵作为每帧图像的帧间有意射影变换矩阵；
步骤三六B:利用该组第二帧到第i帧的每帧图像的帧间原始射影变换矩阵和帧间有意射影变换矩阵分别累乘得到第i帧相对于该组第一帧的累积原始射影变换矩阵和累积有意射影变换矩阵7 ;
步骤三六c:对每帧图像的累积原始射影变换矩阵 ;⑶和每帧图像的累积有意射影变换矩Al对该帧图像进行补偿:
对每帧图像分别利用相应的累积原始射影变换矩阵^4的逆矩阵fa,1,进行逆变换，对逆变换后的每帧图像分别利用所述相应的累积有意变射影换矩阵Tm进行正变换，即 ，则得到补偿后的每帧图像；
步骤三六D:对于补偿过程中的每帧图像的未定义像素点采用线性插值进行确定；
所述步骤四六中，对步骤四五得到的每帧图像的帧间原始仿射变换矩阵提取每帧图像的帧间有意仿射变换矩阵，并利用帧间有意仿射变换矩阵对每帧图像进行随机运动补偿的方法为:
步骤四六A:对步骤四五得到的每帧图像的帧间原始仿射变换矩阵中每个参数分别求取平均值，获得由每个平均值所构成的变换矩阵作为每帧图像的帧间有意仿射变换矩阵；步骤四六B:利用该组第二帧到第i帧的每帧图像的帧间原始仿射变换矩阵和帧间有意仿射变换矩阵分别累乘得到第i帧相对于该组第一帧的累积原始仿射变换矩阵或M和累积有意仿射变换矩阵H ； 步骤四六c:利用每帧图像的累积原始仿射变换矩阵和累积有意仿射变换矩阵H对该帧图像进行补偿: 对每帧图像分别利用相应的累积原始仿射变换矩阵瓦⑴的逆矩阵H进行逆变换，对逆变换后的每帧图像分别利用所述相应的累积有意仿射变换矩阵瓦H进行正变换，即HL，则得到补偿后的每帧图像；
步骤四六D:对于补偿过程中的每帧图像的未定义像素点采用线性插值进行确定。
基于远近景切换的自适应电子稳像方法，本发明涉及基于远近景切换的自适应电子稳像方法。它为了解决目前的稳像方法对于帧间复杂运动模式、大旋转和大平移运动以及存在大尺度和大范围前景运动视频的稳像效果差且实时性低的问题。基于远近景切换的自适应电子稳像方法为获取摄像设备在当前时刻的焦距值f，若当前焦距值f大于预设的远景焦距阈值f1，则进入远景处理模式，进入远景稳像模式，对拍摄的视频做处理；若当前焦距值f小于预设的近景焦距阈值f2，则进入近景处理模式，进入近景稳像模式，对拍摄的视频做处理，否则，进入中景稳像模式，对拍摄的视频做处理。本发明可应用于远程遥控、自主导航、监控、成像、遥感、视频侦察、导弹成像制导和观瞄系统等。
文档编号H04N5/14GKSQ
公开日日 申请日期日 优先权日日
发明者遆晓光, 靳万鑫 申请人:哈尔滨工业大学}