三维视频格式自动检测方法及装置.pdf

本发明公开了一种三维视频格式自动检测方法及装置，该方法包括如下步骤：对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数；将经维数缩减后的图像块进行多特征提取，该多特征包含块梯度模特征，块直方图特征，帧直方图特征，投影特征，中间线边界特征；对提取的特征利用3D格式特征的空间域上的多特征融合方法进行特征融合；根据融合后的特征进行空间域和时间域上的模糊特征格式判别，判断当前帧视频图像的图像格式；输出当前帧的视频格式，控制播放装置按照自动检测出的视频图像格式进行播放，通过本发明，不仅可大量的减少视频格式检测的计算复杂度，而且能够很大的提高视频格式检测的准确率。

权利要求书1.  一种三维视频格式自动检测方法，包括如下步骤：步骤一，对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数；步骤二，将经维数缩减后的图像块进行多特征提取，获得第一类格式子特征值、第二类格式子特征值、第三类格式子特征值，该多特征包含块梯度模特征、块直方图特征、帧直方图特征、投影特征以及中间线边界特征；步骤三，对获得的第一类格式子特征值、第二类格式子特征值、第三类格式子特征值分别利用3D格式特征的空间域上的多特征融合方法进行多特征融合获得第一类3D格式特征值、第二类3D格式特征值以及第三类3D格式特征值；步骤四，根据融合后的特征进行空间域上的格式判别以及时间域上的模糊特征格式判别，判断当前帧视频图像的图像格式；步骤五，输出当前帧的视频格式，控制播放装置按照自动检测出的视频图像格式进行播放。2.  如权利要求1所述的一种三维视频格式自动检测方法，其特征在于，于步骤二中，对于输入的未知格式的视频图像f(x,y)，按照如下方式进行统计3类格式子特征值：取图像f(x,y)的左半部分图像为可能的左眼图像，图像f(x,y)的右半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法计算得到该第一类格式子特征值，符号记为取图像f(x,y)的上半部分图像为可能的左眼图像，图像f(x,y)的下半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法计算得到该第二类格式子特征值，符号记为取图像f(x,y)的顶场图像为可能的左眼图像，图像f(x,y)的底场图像为可 能的右眼图像，则根据3D格式子特征值计算方法计算得到该第三类格式子特征值，符号记为3.  如权利要求2所述的一种三维视频格式自动检测方法，其特征在于，该3D格式子特征值计算方法如下：分别计算左眼图像和右眼图像的像素帧直方图向量、块直方图向量、梯度模向量、水平投影向量，对其计算相应的特征值，4种特征向量对应的归一化后特征值符号分别记为dhist、dblk_hist、dmag、dprj；通过检测带状区域的梯度模和亮度信息检测视频图像中有没有边界线，其归一化后的边界线特征值符号记为dbry；其中，dhist、dblk_hist、dmag、dprj、dbry称为3D格式子特征值。4.  如权利要求3所述的一种三维视频格式自动检测方法，其特征在于，于步骤三中，对该第一类格式子特征值采用如下计算公式进行多特征融合得到第一类3D格式特征值：dlr=whistgdhistlr+wblk_histgdblk_histlr+wprjgdprjlr+wbrygdbrylr+wmaggdmaglr]]>其中，whist、wblk_hist、wprj、wbry、wmag分别为第一类格式子特征值预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝whist+wblk_hist+wprj+wbry+wmag，dlr∈[0,1]表示第一类3D格式特征值。5.  如权利要求4所述的一种三维视频格式自动检测方法，其特征在于，于步骤三中，对该第二类格式子特征值采用如下计算公式进行多特征融合得到第二类3D格式特征值：dtb=whistgdhisttb+wblk_histgdblk_histtb+wprjgdprjtb+wbrygdbrytb+wmaggdmagtb]]>其中，whist、wblk_hist、wprj、wbry、wmag为预先设定的权重比例系数，与该第一类格式子特征权重比例系数相同，dtb∈[0,1]表示第二类3D格式特征值。6.  如权利要求5所述的一种三维视频格式自动检测方法，其特征在于， 于步骤三中，对第三类格式子特征值采用如下计算公式进行多特征融合得到第三类3D格式特征值：dit=whist′gdhistit+wblk_hist′gdblk_histit+wprj′gdprjit+wmag′gdmagit]]>其中，w′hist、w′blk_hist、w′prj、w′mag为预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝w′hist+w′blk_hist+w′prj+w′mag；dit∈[0,1]表示第三类3D格式特征值。7.  如权利要求6所述的一种三维视频格式自动检测方法，其特征在于，于步骤四中，根据如下表达式进行空间域上的视频格式判别：fmt=0d&GreaterEqual;dth1d<dthIdlr=d2d<dthIdtb=d3d<dthIdit=d]]>其中，fmt表示图像f(x,y)判别的视频格式，d表示图像f(x,y)的格式特征值，d＝min(dtb,dlr,dit)，dlr表示图像f(x,y)的第一类3D格式特征值，dtb表示图像f(x,y)的第二类3D格式特征值，dit表示图像f(x,y)的第三类3D格式特征值；当fmt＝0时，图像f(x,y)表示判别为一个2D图像，当fmt＝1时，图像f(x,y)表示判别为一个左右格式的3D图像，当fmt＝2时，图像f(x,y)表示判别为一个上下格式的3D图像，当fmt＝3时，图像f(x,y)表示判别为一个交错格式的3D图像。8.  如权利要求7所述的一种三维视频格式自动检测方法，其特征在于，于步骤四中，根据如下表达式进行时间域上的视频格式判别：fmtn=fmtd&Element;[0,dlow)U(dhigh,1]fmtn-1d&Element;[dlow,dhigh]]]>其中，fmt表示当前帧图像f(x,y)在空间域上的格式判别得到的视频格式，fmtn-1表示前一帧图像的视频格式，以空间域上的格式fmt作为起始第一帧的前一帧格式fmtn-1的初始化格式，fmtn表示当前帧图像经过时域信息融合后得到的视频格式，dlow为3D格式特征值d的下门限阈值，dhigh为3D格式特征值d的下门 限阈值。9.  一种三维视频格式自动检测装置，至少包括：图像分块模块，对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数；多特征提取模块，将经维数缩减后的图像块送入块梯度模特征提取子模块、块直方图特征提取子模块、帧直方图特征提取子模块、投影特征提取子模块以及中间线边界特征提取子模块分别进行多特征提取，获得第一类格式子特征值、第二类格式子特征值、第三类格式子特征值；多特征融合模块，对该多特征提取模块中的各子模块提取的特征值通过3D格式特征的空间域上的多特征融合方法进行特征融合获得第一类3D格式特征值、第二类3D格式特征值以及第三类3D格式特征值；格式判断模块，将融合后的特征送入空间域格式判断模块及时间域格式判断模块进行空间域上的格式判别以及时间域上的模糊特征格式判别，判断当前帧视频图像的图像格式。10.  如权利要求9所述的一种三维视频格式自动检测装置，其特征在于，该多特征融合模块对各子模块提取的第一类格式子特征值采用如下计算公式进行多特征融合得到该第一类3D格式特征值：dlr=whistgdhistlr+wblk_histgdblk_histlr+wprjgdprjlr+wbrygdbrylr+wmaggdmaglr]]>其中，whist、wblk_hist、wprj、wbry、wmag分别为该第一类格式子特征值预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝whist+wblk_hist+wprj+wbry+wmag，dlr∈[0,1]表示第一类3D格式特征值。对各子模块提取的该第二类格式子特征值采用如下计算公式进行多特征融合得到该第二类3D格式特征值dtb=whistgdhisttb+wblk_histgdblk_histtb+wprjgdprjtb+wbrygdbrytb+wmaggdmagtb]]>其中，whist、wblk_hist、wprj、wbry、wmag为预先设定的权重比例系数，与该第 一类格式子特征权重比例系数相同，dtb∈[0,1]表示第二类3D格式特征值。对各子模块提取的该第三类格式子特征采用如下计算公式进行多特征融合得到该第三类3D格式特征值：dit=whist′gdhistit+wblk_hist′gdblk_histit+wprj′gdprjit+wmag′gdmagit]]>其中，w′hist、w′blk_hist、w′prj、w′mag为预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝w′hist+w′blk_hist+w′prj+w′mag；dit∈[0,1]表示第三类3D格式特征值。

说明书三维视频格式自动检测方法及装置
技术领域
本发明涉及视频显示领域，特别是涉及一种基于多特征融合的空间域特征格式判别和时间域格式判别的三维视频格式自动检测方法及装置。
背景技术
随着视频影像技术的发展，越来越多的二维(2D)和三维(3D)视频的视频影片上传到视频网站共享，以及随着越来越多的三维(3D)电影在电影院的放映和三维(3D)数字电视节目的开播，三维(3D)视频数量呈海量增长之势。目前可以通过现有宽带传送的三维(3D)的视频格式有左右格式(即，图像的左半部分是左眼图像，右半部分是右眼图像)、上下格式(即，图像的上半部分是左眼图像，下半部分是右眼图像)，三维视频的数量呈海量增长之势，如何把三维视频带回家已成为迫在眉睫的事情，但是仍然存在着许多的挑战。由于现有的视频中仍然存在着大量的二维(2D)视频，因此最需要解决的技术重要问题之一，就是针对电视上播放的各种片源进行自动检测出所播放的视频图像格式，控制电视正常播放片源，以实现电视智能化自动识别播放的片源是哪种格式的片源，这就需要提供一种自动检测视频格式是二维(2D)还是三维(3D)的技术手段，如果是三维(3D)视频格式，还需要检测是三维(3D)视频格式中的具体哪种三维格式(左右格式、上下格式中的哪种格式)。
一个完整的三维(3D)电视系统如图1所示，其主要模块包括视频信号接受端口、电源系统、音频处理器、扬声器、视频处理器、图形控制器、三维显示面板，而用于检测三维视频格式的模块则是图形控制器中的三维格式检测模块。
公开号为CN101980545A的中国专利提供“一种自动检测三维TV视频节目格式的方法”，其通过先进行图像熵阈值判别，然后进行图像块像素的协方差 相似性特征阈值征判别方法来判别视频格式。其存在如下缺点：1、具有较高的计算复杂度；2、视频格式检测的准确率不高。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种三维视频格式自动检测方法及装置，其不仅大量的减少视频格式检测的计算复杂度，而且能够很大的提高视频格式检测的准确率。
为达上述及其它目的，本发明提出一种三维视频格式自动检测方法，包括如下步骤：
步骤一，对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数；
步骤二，将经维数缩减后的图像块进行多特征提取，获得第一类格式子特征值、第二类格式子特征值、第三类格式子特征值，该多特征包含块梯度模特征，块直方图特征，帧直方图特征，投影特征，中间线边界特征；
步骤三，对获得的第一类格式子特征值、第二类格式子特征值、第三类格式子特征值利用3D格式特征的空间域上的多特征融合方法进行多特征融合获得第一类3D格式特征值、第二类3D格式特征值以及第三类3D格式特征值；
步骤四，根据融合后的特征进行空间域上的格式判别以及时间域上的模糊特征格式判别，判断当前帧视频图像的图像格式；
步骤五，输出当前帧的视频格式，控制播放装置按照自动检测出的视频图像格式进行播放。
进一步地，于步骤二中，对于输入的未知格式的视频图像f(x,y)，按照如下方式进行统计3类格式子特征值：
取图像f(x,y)的左半部分图像为可能的左眼图像，图像f(x,y)的右半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法计算得到第一类格式子特征值，符号记为
取图像f(x,y)的上半部分图像为可能的左眼图像，图像f(x,y)的下半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法计算得到第二类格式子特征值，符号记为
取图像f(x,y)的顶场图像为可能的左眼图像，图像f(x,y)的底场图像为可能的右眼图像，则根据3D格式子特征值计算方法计算得到第三类格式子特征值，符号记为
进一步地，该3D格式子特征值计算方法如下：
分别计算左眼图像和右眼图像的像素帧直方图向量、块直方图向量、梯度模向量、水平投影向量，对其计算相应的特征值，4种特征向量对应的归一化后特征值符号分别记为dhist、dblk_hist、dmag、dprj；
通过检测带状区域的梯度模和亮度信息检测视频图像中有没有边界线，其归一化后的边界线特征值符号记为dbry；
其中，dhist、dblk_hist、dmag、dprj、dbry称为3D格式子特征值。
进一步地，于步骤三中，对该第一类格式子特征值采用如下计算公式进行多特征融合得到第一类3D格式特征值：
dlr=whistgdhistlr+wblk_histgdblk_histlr+wprjgdprjlr+wbrygdbrylr+wmaggdmaglr]]>
其中，whist、wblk_hist、wprj、wbry、wmag分别为第一类格式子特征预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝whist+wblk_hist+wprj+wbry+wmag，dlr∈[0,1]表示第一类3D格式特征值。
进一步地，于步骤三中，对该第二类格式子特征值采用如下计算公式进行多特征融合得到第二类3D格式特征值：
dtb=whistgdhisttb+wblk_histgdblk_histtb+wprjgdprjtb+wbrygdbrytb+wmaggdmagtb]]>
其中，whist、wblk_hist、wprj、wbry、wmag为预先设定的权重比例系数，与该第一类格式子特征权重比例系数相同，dtb∈[0,1]表示第二类3D格式特征值。
进一步地，于步骤三中，对第三类格式子特征值采用如下计算公式进行多特征融合得到第三类3D格式特征值：
dit=whist′gdhistit+wblk_hist′gdblk_histit+wprj′gdprjit+wmag′gdmagit]]>
其中，w′hist、w′blk_hist、w′prj、w′mag为预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝w′hist+w′blk_hist+w′prj+w′mag；dit∈[0,1]表示第三类3D格式特征值。
进一步地，于步骤四中，根据如下表达式进行空间域上的视频格式判别：
fmt=0d&GreaterEqual;dth1d<dthIdlr=d2d<dthIdtb=d3d<dthIdit=d]]>
其中，fmt表示图像f(x,y)判别的视频格式，d表示图像f(x,y)的格式特征值，d＝min(dtb,dlr,dit)，dlr表示图像f(x,y)的第一类3D格式特征值，dtb表示图像f(x,y)的第二类3D格式特征值，dit表示图像f(x,y)的第三类3D格式特征值；当fmt＝0时，图像f(x,y)表示判别为一个2D图像，当fmt＝1时，图像f(x,y)表示判别为一个左右格式的3D图像，当fmt＝2时，图像f(x,y)表示判别为一个上下格式的3D图像，当fmt＝3时，图像f(x,y)表示判别为一个交错格式的3D图像。
进一步地，于步骤四中，根据如下表达式进行时间域上的视频格式判别：
fmtn=fmtd&Element;[0,dlow)U(dhigh,1]fmtn-1d&Element;[dlow,dhigh]]]>
其中，fmt表示当前帧图像f(x,y)在空间域上的格式判别得到的视频格式，fmtn-1表示前一帧图像的视频格式，以空间域上的格式fmt作为起始第一帧的前一帧格式fmtn-1的初始化格式，fmtn表示当前帧图像经过时域信息融合后得到的视频格式，dlow为3D格式特征值d的下门限阈值，dhigh为3D格式特征值d的下门限阈值。
为达到上述目的，本发明还提供一种三维视频格式自动检测装置，至少包 括：
图像分块模块，对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数；
多特征提取模块，将经维数缩减后的图像块送入块梯度模特征提取子模块、块直方图特征提取子模块、帧直方图特征提取子模块、投影特征提取子模块以及中间线边界特征提取子模块分别进行多特征提取，获得第一类格式子特征值、第二类格式子特征值、第三类格式子特征值；
多特征融合模块，对该多特征提取模块中的各子模块提取的特征通过3D格式特征的空间域上的多特征融合方法进行特征融合获得第一类3D格式特征值、第二类3D格式特征值以及第三类3D格式特征值；
格式判断模块，将融合后的特征送入空间域格式判断模块及时间域格式判断模块进行空间域上的格式判别以及时间域上的模糊特征格式判别，判断当前帧视频图像的图像格式。
进一步地，该多特征融合模块对各子模块提取的第一类格式子特征值采用如下计算公式进行多特征融合得到第一类3D格式特征值：
dlr=whistgdhistlr+wblk_histgdblk_histlr+wprjgdprjlr+wbrygdbrylr+wmaggdmaglr]]>
其中，whist、wblk_hist、wprj、wbry、wmag分别为第一类格式子特征值预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝whist+wblk_hist+wprj+wbry+wmag，dlr∈[0,1]表示第一类3D格式特征值。
对各子模块提取的第二类格式子特征值采用如下计算公式进行多特征融合得到第二类3D格式特征值
dtb=whistgdhisttb+wblk_histgdblk_histtb+wprjgdprjtb+wbrygdbrytb+wmaggdmagtb]]>
其中，whist、wblk_hist、wprj、wbry、wmag为预先设定的权重比例系数，与该第一类格式子特征权重比例系数相同，dtb∈[0,1]表示第二类3D格式特征值。
对各子模块提取的第三类格式子特征值采用如下计算公式进行多特征融 合得到第三类3D格式特征值：
dit=whist′gdhistit+wblk_hist′gdblk_histit+wprj′gdprjit+wmag′gdmagit]]>
其中，w′hist、w′blk_hist、w′prj、w′mag为预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝w′hist+w′blk_hist+w′prj+w′mag；dit∈[0,1]表示第三类3D格式特征值。
与现有技术相比，本发明一种三维视频格式自动检测方法及装置通过先对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维素，降低计算复杂度，其次将其送入5个特征提取子模块分别进行多特征提取，然后对这些特征送入特征融合模块进行特征融合，再次将融合后的特征送入格式判断模块进行空间域和时间域上的模糊特征格式，判别当前帧视频图像f(x,y)的图像格式，最后输出当前帧的视频格式，控制播放装置按照自动检测出的视频图像格式进行播放片源，不仅可以减少视频格式检测的计算复杂度，而且能够很大的提高视频格式检测的准确率。
附图说明
图1为一个完整的3D电视系统的系统架构图；
图2为本发明一种三维视频格式自动检测方法的步骤流程图；
图3为本发明较佳实施例中多特征融合计算流程图；
图4为本发明较佳实施例中空间域上的视频格式判别计算流程图；
图5为本发明较佳实施例中时间域上的视频格式判别计算流程图；
图6为本发明一种三维视频格式自动检测装置的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基 于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
因为三维(3D)视频图像由左右眼图像合并而成的，如果是左右格式的三维(3D)图像，则左眼图像为三维(3D)视频图像的左半部分，右眼图像为三维(3D)视频图像的右半部分；如果是上下格式的三维(3D)图像，则左眼图像为三维(3D)视频图像的上半部分，右眼图像为三维(3D)视频图像的下半部分；如果是交错格式的三维(3D)图像，则左眼图像为三维(3D)视频图像的顶场图像，右眼图像为三维(3D)视频图像的底场图像。
不论三维(3D)视频图像是左右格式、上下格式还是交错格式，单帧图像都是由左眼图像和右眼图像组成的，即使左右眼图像有视差，但左眼图像和右眼图像看起来都是十分相似的，这都是二维(2D)不具有的对称性特点。对称特点主要包括：直方图，梯度模向量，投影向量等。针对以上三维(3D)视频图像的特点，本发明提出了一种简单有效自动视频格式检测方法，即空间域上的多特征融合技术方法进行提取3D格式特征以及空间域和时间域上的模糊特征格式判别的自动视频格式检测方法。
图2为本发明一种三维视频格式自动检测方法的步骤流程图。如图2所示，本发明一种三维视频格式自动检测方法，包括如下步骤：
步骤201，对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数，降低计算复杂度。
由于三维(3D)视频图像分辨率往往很高，如果直接以像素点进行单点提取特征向量，计算复杂度太高，成本太大，因此需要对特征向量进行维数缩减。又因为3D视频图像的左右眼图像有视差，所以左眼图像像素与右眼图像像素在空间位置上是有偏移的。本发明通过对左眼图像和右眼图像以像素分辨率大小为Bh×Bw图像块进行图像块划分，以像素块为单位进行特征提取可以有效减少左右眼图像视差的负面影响，对左右眼图像的特征向量可以实现维数缩减，增加特征向量的鲁棒性，同时可以大量的减少视频格式检测方法的计算复杂度。
步骤202，将经维数缩减后的图像块进行多特征提取，这里的多特征主要 包含：块梯度模特征，块直方图特征，帧直方图特征，投影特征，中间线边界特征。
由于三维(3D)视频图像的左眼图像和右眼图像具有很强的相似性(3D视频图像的对称性)，分别计算左眼图像和右眼图像的像素帧直方图向量、块直方图(分辨率Bh×Bw像素块)向量、梯度模向量、水平投影向量，则左眼图像和右眼图像的这4种特征向量应该具有相似性，可以对其计算相应的向量距离d∈[0,1](向量距离简称特征值)，如果特征值等于0，则左眼图像和右眼图像的特征向量几乎相同，如果距离等于1，则左眼图像和右眼图像的特征向量完全不同。4种特征向量对应的归一化后特征值符号分别记为dhist、dblk_hist、dmag、dprj。
由于3D视频图像由左右眼图像合并而成的，如果是左右格式的3D图像，则通常在中间列的水平方向有一条明显的边界线或者暗区域带，如果是上下格式的3D图像，则通常在中间行的垂直方向有一条明显的边界线或者暗区域带。则可通过检测中带状区域的梯度模和亮度信息检测视频图像中有没有边界线，其归一化后的边界线特征值符号记为dbry∈[0,1]。对于交错格式的3D图像，由于没有明显的左右眼图像的边界线，所以交错格式的3D格式特征中没有边界线特征。
这里将dhist、dblk_hist、dmag、dprj、dbry称为3D格式子特征值。
对于输入的未知格式的视频图像f(x,y)，按照如下方式进行统计3类格式子特征值：
第一类格式子特征值：取图像f(x,y)的左半部分图像为可能的左眼图像，图像f(x,y)的右半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法可以计算得到第一类格式子特征值，符号记为
第二类格式子特征值：取图像f(x,y)的上半部分图像为可能的左眼图像，图像f(x,y)的下半部分图像为可能的右眼图像，则根据3D格式子特征值计算方 法可以计算得到第二类格式子特征值，符号记为
第三类格式子特征值：取图像f(x,y)的顶场图像为可能的左眼图像，图像f(x,y)的底场图像为可能的右眼图像，则根据3D格式子特征值计算方法可以计算得到第三类格式子特征值，符号记为
步骤203，对提取的特征利用3D格式特征的空间域上的多特征融合方法进行特征融合。
图像内容往往复杂多变，尤其是一些难以区分特殊情形下的2D图像也具有对称性特点比较强(例如：纯白场景，纯黑场景)，视差比较大的3D图像对称性特点比较弱，如果仅仅通过单一特征判断视频图像格式，很容易产生视频格式误判。本发明提出了通过3D格式特征的空间域上的多特征融合进行3D格式特征方法，即将多个3D格式子特征进行加权融合方法，通过该方法可以提取一个非常稳定的3D格式特征，能够很大的提高视频格式检测的准确率。多特征融合的计算流程图见图3。
若图像f(x,y)是左右格式的3D图像，显然左半部分图像(左眼图像)和右半部分图像(右眼图像)的各特征向量的距离比较小，则有第一类格式子特征值也都会同时等于0或者比较小。如果图像f(x,y)的5个子特征值中仅仅有某几个子特征值比较小，但并不能肯定判别图像f(x,y)是一个3D图像，因为有不少的2D图像也满足个别子特征值小，比如：纯白的2D场景图像，它的子特征值都等于0。因此判断图像f(x,y)的格式，需要同时考虑所有子特征值的特点才能真实的反映视频格式特点，否则仅仅依赖个别单个子特征基判别视频格式容易导致格式误判。基于此原则，本发明提出了多特征融合方法提取3D格式特征，可以进一步提高3D格式特征的表达准确度和稳定性。
首先，第一类格式子特征值的多特征融合方法计算公式如下：
dlr=whistgdhistlr+wblk_histgdblk_histlr+wprjgdprjlr+wbrygdbrylr+wmaggdmaglr]]>
其式中，whist、wblk_hist、wprj、wbry、wmag分别为第一类格式子特征值预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝whist+wblk_hist+wprj+wbry+wmag；dlr∈[0,1]表示第一类3D格式特征值。
其次，类似的方法，对于第二类格式子特征值进行多特征融合可以得到第二类3D格式特征值，计算公式如下：
dtb=whistgdhisttb+wblk_histgdblk_histtb+wprjgdprjtb+wbrygdbrytb+wmaggdmagtb]]>
其中，whist、wblk_hist、wprj、wbry、wmag预先设定的权重比例系数，与第一类格式子特征权重比例系数相同，dtb∈[0,1]表示第二类3D格式特征值。
再次，对于第三类格式子特征值进行多特征融合可以得到第三类3D格式特征值，计算公式如下：
dit=whist′gdhistit+wblk_hist′gdblk_histit+wprj′gdprjit+wmag′gdmagit]]>
其式中，w′hist、w′blk_hist、w′prj、w′mag预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝w′hist+w′blk_hist+w′prj+w′mag；dit∈[0,1]表示第三类3D格式特征值。
步骤204，根据融合后的特征进行空间域的格式判别以及时间域上的模糊特征格式判别，判断当前帧视频图像f(x,y)的图像格式(判断是2D格式、上下格式、左右格式，交错格式)。
1、空间域上的格式判别
3D视频图像只可能是左右格式、上下格式、交错格式中的一种，不可能同时属于2种3D格式。如果输入的视频图像是左右格式图像，则显然有第一类3D格式特征值小于第二、三类3D格式特征值；如果输入的视频图像是上下格式图像，则显然有第二类3D格式特征值小于第一、三类3D格式特征值；如果输入的视频图像是交错格式图像，则显然有第三类3D格式特征值小于第一、二类3D格式特征值；所以第一、二和三类3D格式特征值中的最小特征值最能表达输入图像的3D格式特征值，则可得数学计算表达式：
d＝min(dtb,dlr,dit)
其中，d表示图像f(x,y)的3D格式特征值；由于dtb∈[0,1]，dlr∈[0,1]，dit∈[0,1]，则可知格式特征值d∈[0,1]。
从视频图像格式特征值d定义可知，d描述了图像f(x,y)的左眼图像和右眼图像的距离度量，也就是说若格式特征值d的值越小，3D格式特征越强，图像f(x,y)越可能是3D图像；反之，格式特征值d的值越大，3D格式特征越弱，即2D视频格式特征越强，图像f(x,y)越可能是2D图像。
为了更好的描述，本发明引进符号fmt进行量化图像f(x,y)的视频格式，如果fmt的值等于0，则表示图像f(x,y)是2D视频格式图像；如果fmt的值等于1，则表示图像f(x,y)是左右格式图像；如果fmt的值等于2，则表示图像f(x,y)是上下格式；如果fmt的值等于3，则表示图像f(x,y)是交错格式。对于判别输入图像是2D图像还是3D图像，这里对3D格式特征设定一个阈值dth∈(0,1)，例如阈值可以设为dth＝0.5，如果格式特征值d≥dth，说明图像f(x,y)的2D视频格式特征偏强，f(x,y)的3D格式特征偏弱，则将图像f(x,y)格式判别为2D视频格式，fmt的值记为0；如果格式特征值d＜dth，说明图像f(x,y)的2D视频格式特征偏弱，即图像f(x,y)的3D格式特征偏强，则将图像f(x,y)格式判别为3D格式。如果格式特征值d＜dth I dlr＝d，说明图像f(x,y)的3D格式特征偏强且第一类3D格式特征强于第二、三类3D格式特征，即图像f(x,y)的左右格式特征最强，我们则将图像f(x,y)格式判别为左右格式，fmt的值记为1；如果格式特征值d＜dth I dtb＝d，说明图像f(x,y)的3D格式特征偏强且第二类3D格式特征强于第一、三类3D格式特征，即图像f(x,y)的上下格式特征最强，则将图像f(x,y)格式判别为上下格式，fmt的值记为2；如果格式特征值d＜dth I dit＝d，说明图像f(x,y)的3D格式特征偏强且第三类3D格式特征强于第一、二3D格式特征，即图像f(x,y)的交错格式特征最强，则将图像f(x,y)格式判别为交错格式，fmt的 值记为3；
最后则可得空间域上的视频格式fmt判别表达式如下：
fmt=0d&GreaterEqual;dth1d<dthIdlr=d2d<dthIdtb=d3d<dthIdit=d]]>
其中，fmt表示图像f(x,y)判别的视频格式，d表示图像f(x,y)的格式特征值，dlr表示图像f(x,y)的第一类3D格式特征值，dtb表示图像f(x,y)的第二类3D格式特征值，dit表示图像f(x,y)的第三类3D格式特征值；当fmt＝0时，图像f(x,y)表示判别为一个2D图像，当fmt＝1时，图像f(x,y)表示判别为一个左右格式的3D图像，当fmt＝2时，图像f(x,y)表示判别为一个上下格式的3D图像，当fmt＝3时，图像f(x,y)表示判别为一个交错格式的3D图像。
空间域上的格式判别计算流程图见图4。具体如下：计算第一、二和三类3D格式特征值中的最小特征值作为输入图像的3D格式特征值d；判断该3D格式特征值d是否小于3D格式特征值阈值dth，若是，则判断视频格式为三维，并继续后续判断，若否，则判断视频格式为二维；判断该3D格式特征值d是否等于第一类3D格式特征值dlr，若等于，则判断视频格式左右格式，否则判断该3D格式特征值d是否等于第二类3D格式特征值dtb；若等于，则判断视频格式为上下格式，否则判断为交错格式。
2、时间域上的格式判别
通常对于对称性比较强的2D图像和信息量比较少的暗场景或梯度较弱的3D图像，计算出来的格式特征值d会落在3D格式特征值阈值dth附近，所以当3D格式特征值d落在dth附近，图像f(x,y)的3D或2D视频格式特征不明显，很难区分图像f(x,y)是2D还是3D图像格式；如果直接以dth作为视频格式判断标准，会容易导致视频格式误判。因此，本发明提出了3D格式模糊特征值判别方法进行判别视频格式，首先，这里引入3D格式特征值d的下门限阈值dlow(或 称3D格式强特征阈值)和上门限阈值dhigh(或称2D格式强特征阈值)，其中dlow和dhigh定义域为0＜dlow＜dth＜dhigh＜1。显然，当3D格式特征值d＞dhigh，则图像的2D视频格式特征强烈，经过空间域上的格式判别得到的视频格式fmt(值为0)可信度高；当3D格式特征值d＜dlow，则图像的3D格式特征强烈，经过空间域上的格式判别得到的视频格式fmt(值为1、2或3)可信度高；当格式特征值dlow≤d≤dhigh，图像的2D视频格式特征或3D格式特征不强烈，经过空间域上的格式判别得到的视频格式fmt(值为0、1、2或3)可信度比较低，因此称3D格式特征值区间[dlow,dhigh]为格式判别模糊特征区，称3D格式特征值d∈[dlow,dhigh]为格式模糊特征值，称3D格式特征值区间[0,dlow)U(dhigh,1]为格式判别强特征区，称3D格式特征值d∈[0,dlow)U(dhigh,1]为格式强特征值。
由于视频图像往往都是连续多帧的，前几帧的视频格式相对于通过空间域上的格式模糊特征判别得到的视频格式可信度高，为了减少模糊特征区的格式误判对算法检测准确度的影响，本发明引入视频格式的时域信息，由于视频图像往往都是连续多帧的，因此当前帧图像格式fmtn往往和前一帧图像格式fmtn-1有一定的相关性，当格式特征值d∈[dlow,dhigh]，由于单帧格式判断出来的fmt可信度低，时域信息中前几帧图像格式fmtn-1相对于当前帧计算出的fmt可信度更高，因此当前帧图像的视频格式判断成与前一帧图像的视频格式相同比当前帧在空间域上通过格式模糊特征值判别得到的视频格式的可信度更高。当格式特征值d∈[0,dlow)U(dhigh,1]，由于图像的视频格式特征较强，通过空间域上的格式判别得到的视频格式fmt(值为1、2或3)比较可靠，因此在空间域上通过格式强特征值判别得到的视频格式作为当前帧的视频格式。
时间域上当前帧图像f(x,y)的格式fmtn的数学表达式如下：
fmtn=fmtd&Element;[0,dlow)U(dhigh,1]fmtn-1d&Element;[dlow,dhigh]]]>
其中，fmt表示当前帧图像f(x,y)在空间域上的格式判别得到的视频格式，fmtn-1表示前一帧图像的视频格式，以空间域上的格式fmt作为起始第一帧的前一帧格式fmtn-1的初始化格式，fmtn表示当前帧图像经过时域信息融合后得到的视频格式。
时间域上的格式判别计算流程图见图5。具体如下：判断3D格式特征值d是否属于处于格式判别模糊特征区[dlow,dhigh]；若处于该模糊特征区，则将视频格式判断为前一帧的视频格式，若不处于该模糊特征区，则将在空间域上通过格式强特征值判别得到的视频格式作为当前帧的视频格式。
步骤205，输出当前帧的视频格式，控制播放装置按照自动检测出的视频图像格式进行播放片源。
图6为本发明一种三维视频格式自动检测装置的系统架构图。如图6所示，本发明一种三维视频格式自动检测装置，至少包括：图像分块模块61、多特征提取模块62、多特征融合模块63以及格式判断模块64。
图像分块模块61，对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维数，降低计算复杂度。在本发明较佳实施例中，通过对左眼图像和右眼图像以像素分辨率大小为Bh×Bw图像块进行图像块划分，以像素块为单位进行特征提取可以有效减少左右眼图像视差的负面影响，对左右眼图像的特征向量可以实现维数缩减，增加特征向量的鲁棒性，同时可以大量的减少视频格式检测方法的计算复杂度。
多特征提取模块62，将经维数缩减后的图像块送入块梯度模特征提取子模块621、块直方图特征提取子模块622、帧直方图特征提取子模块623、投影特征提取子模块624以及中间线边界特征提取子模块625分别进行多特征提取，这里的特征主要包含：块梯度模特征，块直方图特征，帧直方图特征，投影特征，中间线边界特征。
具体地说，由于三维(3D)视频图像的左眼图像和右眼图像具有很强的相 似性(3D视频图像的对称性)，分别计算左眼图像和右眼图像的像素帧直方图向量、块直方图(分辨率Bh×Bw像素块)向量、梯度模向量、水平投影向量，则左眼图像和右眼图像的这4种特征向量应该具有相似性，可以对其计算相应的向量距离d∈[0,1](向量距离简称特征值)，如果特征值等于0，则左眼图像和右眼图像的特征向量几乎相同，如果距离等于1，则左眼图像和右眼图像的特征向量完全不同。4种特征向量对应的归一化后特征值符号分别记为dhist、dblk_hist、dmag、dprj。
由于3D视频图像由左右眼图像合并而成的，如果是左右格式的3D图像，则通常在中间列的水平方向有一条明显的边界线或者暗区域带，如果是上下格式的3D图像，则通常在中间行的垂直方向有一条明显的边界线或者暗区域带。则可通过检测中带状区域的梯度模和亮度信息检测视频图像中有没有边界线，其归一化后的边界线特征值符号记为dbry∈[0,1]。对于交错格式的3D图像，由于没有明显的左右眼图像的边界线，所以交错格式的3D格式特征中没有边界线特征。
这里将dhist、dblk_hist、dmag、dprj、dbry称为3D格式子特征值。
对于输入的未知格式的视频图像f(x,y)，按照如下方式进行统计3类格式子特征值：
第一类格式子特征值：取图像f(x,y)的左半部分图像为可能的左眼图像，图像f(x,y)的右半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法可以计算得到第一类格式子特征值，符号记为
第二类格式子特征值：取图像f(x,y)的上半部分图像为可能的左眼图像，图像f(x,y)的下半部分图像为可能的右眼图像，则根据3D格式子特征值计算方法可以计算得到第二类格式子特征值，符号记为
第三类格式子特征值：取图像f(x,y)的顶场图像为可能的左眼图像，图像 f(x,y)的底场图像为可能的右眼图像，则根据3D格式子特征值计算方法可以计算得到第三类格式子特征值，符号记为
多特征融合模块63，对多特征提取模块62中的各子模块提取的特征通过3D格式特征的空间域上的多特征融合方法进行特征融合。
图像内容往往复杂多变，尤其是一些难以区分特殊情形下的2D图像也具有对称性特点比较强(例如：纯白场景，纯黑场景)，视差比较大的3D图像对称性特点比较弱，如果仅仅通过单一特征判断视频图像格式，很容易产生视频格式误判。本发明提出了通过3D格式特征的空间域上的多特征融合方法进行3D格式特征融合，即将多个3D格式子特征进行加权融合方法，通过该方法可以提取一个非常稳定的3D格式特征，能够很大的提高视频格式检测的准确率。
若图像f(x,y)是左右格式的3D图像，显然左半部分图像(左眼图像)和右半部分图像(右眼图像)的各特征向量的距离比较小，则有第一类格式子特征值也都会同时等于0或者比较小。如果图像f(x,y)的5个子特征值中仅仅有某几个子特征值比较小，但并不能肯定判别图像f(x,y)是一个3D图像，因为有不少的2D图像也满足个别子特征值小，比如：纯白的2D场景图像，它的子特征值都等于0。因此判断图像f(x,y)的格式，需要同时考虑所有子特征值的特点才能真实的反映视频格式特点，否则仅仅依赖个别单个子特征基判别视频格式容易导致格式误判。基于此原则，本发明提出了多特征融合方法提取3D格式特征，可以进一步提高3D格式特征的表达准确度和稳定性。
首先，第一类格式子特征值的多特征融合方法计算公式如下：
dlr=whistgdhistlr+wblk_histgdblk_histlr+wprjgdprjlr+wbrygdbrylr+wmaggdmaglr]]>
其式中，whist、wblk_hist、wprj、wbry、wmag分别为第一类格式子特征值预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等 式条件1＝whist+wblk_hist+wprj+wbry+wmag；dlr∈[0,1]表示第一类3D格式特征值。
其次，类似的方法，对于第二类格式子特征值进行多特征融合可以得到第二类3D格式特征值，计算公式如下：
dtb=whistgdhisttb+wblk_histgdblk_histtb+wprjgdprjtb+wbrygdbrytb+wmaggdmagtb]]>
其中，whist、wblk_hist、wprj、wbry、wmag预先设定的权重比例系数，与第一类格式子特征权重比例系数相同，dtb∈[0,1]表示第二类3D格式特征值。
再次，对于第三类格式子特征值进行多特征融合可以得到第三类3D格式特征值，计算公式如下：
dit=whist′gdhistit+wblk_hist′gdblk_histit+wprj′gdprjit+wmag′gdmagit]]>
其式中，w′hist、w′blk_hist、w′prj、w′mag预先设定的权重比例系数，权重比例系数定义域为[0,1]且满足等式条件1＝w′hist+w′blk_hist+w′prj+w′mag；dit∈[0,1]表示第三类3D格式特征值。
格式判断模块64，将融合后的特征送入空间域格式判断模块641及时间域格式判断模块642进行空间域上的格式判别以及时间域上的模糊特征格式判别，判断当前帧视频图像f(x,y)的图像格式(判断是2D格式、上下格式、左右格式，交错格式)。
1、空间域格式判断模块641
3D视频图像只可能是左右格式、上下格式、交错格式中的一种，不可能同时属于2种3D格式。如果输入的视频图像是左右格式图像，则显然有第一类3D格式特征值小于第二、三类3D格式特征值；如果输入的视频图像是上下格式图像，则显然有第二类3D格式特征值小于第一、三类3D格式特征值；如果输入的视频图像是交错格式图像，则显然有第三类3D格式特征值小于第一、二类3D格式特征值；所以第一、二和三类3D格式特征值中的最小特征值最能表达输入图像的3D格式特征值，则可得数学计算表达式：
d＝min(dtb,dlr,dit)
其中，d表示图像f(x,y)的3D格式特征值；由于dtb∈[0,1]，dlr∈[0,1]，dit∈[0,1]，则可知格式特征值d∈[0,1]。
从视频图像格式特征值d定义可知，d描述了图像f(x,y)的左眼图像和右眼图像的距离度量，也就是说若格式特征值d的值越小，3D格式特征越强，图像f(x,y)越可能是3D图像；反之，格式特征值d的值越大，3D格式特征越弱，即2D视频格式特征越强，图像f(x,y)越可能是2D图像。
为了更好的描述，本发明引进符号fmt进行量化图像f(x,y)的视频格式，如果fmt的值等于0，则表示图像f(x,y)是2D视频格式图像；如果fmt的值等于1，则表示图像f(x,y)是左右格式图像；如果fmt的值等于2，则表示图像f(x,y)是上下格式；如果fmt的值等于3，则表示图像f(x,y)是交错格式。对于判别输入图像是2D图像还是3D图像，这里对3D格式特征设定一个阈值dth∈(0,1)，例如阈值可以设为dth＝0.5，如果格式特征值d≥dth，说明图像f(x,y)的2D视频格式特征偏强，f(x,y)的3D格式特征偏弱，则将图像f(x,y)格式判别为2D视频格式，fmt的值记为0；如果格式特征值d＜dth，说明图像f(x,y)的2D视频格式特征偏弱，即图像f(x,y)的3D格式特征偏强，则将图像f(x,y)格式判别为3D格式。如果格式特征值d＜dth I dlr＝d，说明图像f(x,y)的3D格式特征偏强且第一类3D格式特征强于第二、三类3D格式特征，即图像f(x,y)的左右格式特征最强，我们则将图像f(x,y)格式判别为左右格式，fmt的值记为1；如果格式特征值d＜dth I dtb＝d，说明图像f(x,y)的3D格式特征偏强且第二类3D格式特征强于第一、三类3D格式特征，即图像f(x,y)的上下格式特征最强，则将图像f(x,y)格式判别为上下格式，fmt的值记为2；如果格式特征值d＜dth I dit＝d，说明图像f(x,y)的3D格式特征偏强且第三类3D格式特征强于第一、二3D格式特征，即图像f(x,y)的交错格式特征最强，则将图像f(x,y)格式判别为交错格式，fmt的值记为3；
最后则可得空间域上的视频格式fmt判别表达式如下：
fmt=0d&GreaterEqual;dth1d<dthIdlr=d2d<dthIdtb=d3d<dthIdit=d]]>
其中，fmt表示图像f(x,y)判别的视频格式，d表示图像f(x,y)的格式特征值，dlr表示图像f(x,y)的第一类3D格式特征值，dtb表示图像f(x,y)的第二类3D格式特征值，dit表示图像f(x,y)的第三类3D格式特征值；当fmt＝0时，图像f(x,y)表示判别为一个2D图像，当fmt＝1时，图像f(x,y)表示判别为一个左右格式的3D图像，当fmt＝2时，图像f(x,y)表示判别为一个上下格式的3D图像，当fmt＝3时，图像f(x,y)表示判别为一个交错格式的3D图像。
2、时间域格式判断模块641
通常对于对称性比较强的2D图像和信息量比较少的暗场景或梯度较弱的3D图像，计算出来的格式特征值d会落在3D格式特征值阈值dth附近，所以当3D格式特征值d落在dth附近，图像f(x,y)的3D或2D视频格式特征不明显，很难区分图像f(x,y)是2D还是3D图像格式；如果直接以dth作为视频格式判断标准，会容易导致视频格式误判。因此，本发明提出了3D格式模糊特征值判别方法进行判别视频格式，首先，这里引入3D格式特征值d的下门限阈值dlow(或称3D格式强特征阈值)和上门限阈值dhigh(或称2D格式强特征阈值)，其中dlow和dhigh定义域为0＜dlow＜dth＜dhigh＜1。显然，当3D格式特征值d＞dhigh，则图像的2D视频格式特征强烈，经过空间域上的格式判别得到的视频格式fmt(值为0)可信度高；当3D格式特征值d＜dlow，则图像的3D格式特征强烈，经过空间域上的格式判别得到的视频格式fmt(值为1、2或3)可信度高；当格式特征值dlow≤d≤dhigh，图像的2D视频格式特征或3D格式特征不强烈，经过空间域上的格式判别得到的视频格式fmt(值为0、1、2或3)可信度比较低，因此称3D 格式特征值区间[dlow,dhigh]为格式判别模糊特征区，称3D格式特征值d∈[dlow,dhigh]为格式模糊特征值，称3D格式特征值区间[0,dlow)U(dhigh,1]为格式判别强特征区，称3D格式特征值d∈[0,dlow)U(dhigh,1]为格式强特征值。
由于视频图像往往都是连续多帧的，前几帧的视频格式相对于通过空间域上的格式模糊特征判别得到的视频格式可信度高，为了减少模糊特征区的格式误判对算法检测准确度的影响，本发明引入视频格式的时域信息，由于视频图像往往都是连续多帧的，因此当前帧图像格式fmtn往往和前一帧图像格式fmtn-1有一定的相关性，当格式特征值d∈[dlow,dhigh]，由于单帧格式判断出来的fmt可信度低，时域信息中前几帧图像格式fmtn-1相对于当前帧计算出的fmt可信度更高，因此当前帧图像的视频格式判断成与前一帧图像的视频格式相同比当前帧在空间域上通过格式模糊特征值判别得到的视频格式的可信度更高。当格式特征值d∈[0,dlow)U(dhigh,1]，由于图像的视频格式特征较强，通过空间域上的格式判别得到的视频格式fmt(值为1、2或3)比较可靠，因此在空间域上通过格式强特征值判别得到的视频格式作为当前帧的视频格式。
因此，时间域上当前帧图像f(x,y)的格式fmtn的数学表达式如下：
fmtn=fmtd&Element;[0,dlow)U(dhigh,1]fmtn-1d&Element;[dlow,dhigh]]]>
其中，fmt表示当前帧图像f(x,y)在空间域上的格式判别得到的视频格式，fmtn-1表示前一帧图像的视频格式，以空间域上的格式fmt作为起始第一帧的前一帧格式fmtn-1的初始化格式，fmtn表示当前帧图像经过时域信息融合后得到的视频格式。
综上所述，本发明一种三维视频格式自动检测方法及装置通过先对输入的一帧视频图像进行图像分块进行维数缩减以减少特征向量维素，降低计算复杂度，其次将其送入5个特征提取子模块分别进行多特征提取，然后对这些特征 送入特征融合模块进行特征融合，再次是将融合后的特征送入格式判断模块进行空间域和时间域上的模糊特征格式，判别当前帧视频图像f(x,y)的图像格式，最后输出当前帧的视频格式，控制播放装置按照自动检测出的视频图像格式进行播放片源，不仅可以减少视频格式检测的计算复杂度，而且能够很大的提高视频格式检测的准确率。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。