3D图像信号处理方法和用于实现该方法的图像显示器.pdf

3D图像信号处理方法和用于实现该方法的图像显示器。公开了一种用于3D图像处理的方法，该方法使得在图像信号发送侧部分省略了要被设置在要发送的多个图像信号中的信息的情况下，能够在接收机处合成并再现图像。本发明的用于3D图像处理的方法在3D图像显示器中实现。所述设备从广播信号恢复至少一个图像，并且从所恢复的图像额外地产生虚拟相机的视点处的图像并按照三维模式显示该图像。为此，该图像显示器首先接收广播信号，并且从所述信令信息获得至少一组相机参数。接着，该图像显示器根据所述相机参数产生虚拟视点图像，并且按照三维方式对所述虚拟视点图像和包括在所述广播信号中的广播图像进行格式化。

权利要求书1.  一种用于在图像显示装置中显示三维(3D)图像的方法，该方法包括：通过接收单元接收包括广播图像和信令信息的广播信号；从所述广播信号中解析所述信令信息；其中所述信令信息包括固有相机参数和外在相机参数，其中所述固有相机参数指定真实相机和虚拟相机中的至少一个的光学特性，所述外在相机参数指示所述真实相机和所述虚拟相机中的所述至少一个的几何位置和方向，其中所述信令信息包括指示所述外在相机参数中包括的参数与所述真实相机有关还是与所述虚拟相机有关的第一字段；使用所述固有相机参数和所述外在相机参数产生虚拟相机位置处的虚拟视点图像；通过格式化器对所述虚拟视点图像和所述广播图像进行格式化，以在所述图像显示装置中显示3D图像。2.  根据权利要求1所述的方法，其中所述信令信息还包括当所述第一字段指示所述外在相机参数中包括的参数与所述真实相机有关时、指定与该参数有关的视频基本流ES的PID值的第二字段。3.  根据权利要求1所述的方法，其中所述信令信息还包括指定所述真实相机或所述虚拟相机的标识符的第三字段。4.  根据权利要求3所述的方法，其中所述信令信息还包括指定应用于具有由所述第三字段指定的标识符的相机的固有相机参数的第四字段。5.  根据权利要求4所述的方法，其中所述信令信息还包括指示要在立体广播中输出的相机视点的优先级的第五字段。6.  一种用于显示三维(3D)图像的装置，该装置包括：广播信号接收单元，其配置为接收包括广播图像和信令信息的广播信号；信令处理器，其配置为从所述广播信号中解析所述信令信息；其中所述信令信息包括固有相机参数和外在相机参数，其中所述固有相机参数指定真实相机和虚拟相机中的至少一个的光学特性， 所述外在相机参数指示所述真实相机和所述虚拟相机中的所述至少一个的几何位置和方向，其中所述信令信息包括指示所述外在相机参数中包括的参数与所述真实相机有关还是与所述虚拟相机有关的第一字段；渲染单元，其配置为使用所述固有相机参数和所述外在相机参数产生虚拟相机位置处的虚拟视点图像；格式化器，其配置为对所述虚拟视点图像和所述广播图像进行格式化，以在所述图像显示装置中显示3D图像。7.  根据权利要求6所述的装置，其中所述信令信息还包括当所述第一字段指示所述外在相机参数中包括的参数与所述真实相机有关时、指定与该参数有关的视频基本流ES的PID值的第二字段。8.  根据权利要求6所述的装置，其中所述信令信息还包括指定所述真实相机或所述虚拟相机的标识符的第三字段。9.  根据权利要求8所述的装置，其中所述信令信息还包括指定应用于具有由所述第三字段指定的标识符的相机的固有相机参数的第四字段。10.  根据权利要求9所述的装置，其中所述信令信息还包括指示要在立体广播中输出的相机视点的优先级的第五字段。

说明书3D图像信号处理方法和用于实现该方法的图像显示器
本申请是申请号为200980150985.3、国际申请号为PCT/KR2009/004620、申请日为2009年8月19日、发明名称为“3D图像信号处理方法和用于实现该方法的图像显示器”的发明专利申请的分案申请。
技术领域
本发明涉及显示装置和图像显示方法，具体地说，涉及用于显示3D图像的显示装置及其图像显示方法。
背景技术
电视技术的进步已经达到了实现用于显示立体图像的装置的水平。已经提出了各种立体图像显示方案，在进行本申请时，立体型3D电视的成熟的商业化即将到来。在立体3D系统中，使用类似于人眼的彼此分开约65毫米的两个图像传感器来采集两个图像，并且将所采集的图像作为广播信号发送到接收机。接着，该接收机对要输入到观众(即，用户)的左眼和右眼的这两个图像进行处理，由此模拟双目视差以允许深度感知和立体视觉。
另外，正在针对多视点视频进行积极的研究，在该多视点视频中，通过多个相机采集多个图像，并且向接收机提供所采集的图像以使得各个视点的3D图像能够显示在该接收机上。多视点视频被期待具有经由宽屏幕和视点自由度提供三维(3D)图像效果的优点。
然而，在以商业方式实现该多视点视频时，在发送侧和接收侧即时处理的数据的量增加，并且要求高价格的设备。具体地说，为了发送具有不同视点的图像，无论通过去除时间冗余和空间冗余将信号压缩得多么严重，发送过程都要求可观的带宽。尽管有线网络或卫星广播网络已经被延伸，但是在提交本申请时，相当大数量的接收机仍将经由空中接口接收电视信号，并且对多个图像进行编码以及通过分配给无线电信号的各个广播频道的带宽来发送这些经编码的图像并不容易。
这种问题可能出现在除了多视点视频以外还发送用于立体3D显示的两个图像信号的系统中。
因而，急迫需要一种显著地减少向接收机传送与多个图像信号相关的信息时的图像信号信息的量以实现立体3D显示或多视点视频的方法。
发明内容
因此，本发明的目的是提供一种用于处理3D图像信号的方法，由此尽管图像信号发送侧发送要包括在多个图像信号中的信息，同时忽略该信息的一部分，但是接收机仍能够合成所发送的信息以再现图像。
本发明的另一目的是提供一种实现该图像信号处理方法的图像显示装置。
在3D图像显示装置中实现根据本发明的示例实施方式的3D图像信号处理方法。该3D图像显示装置从广播信号恢复至少一个图像，从所恢复的图像附加地产生虚拟相机视点处的图像，并且按照三维方式显示该图像。为此，该3D图像显示装置首先接收广播信号并解析该广播信号以提取信令信息，并且从该信令信息获得至少一组相机参数。接着，该3D图像显示装置根据这些相机参数产生虚拟视点图像，并且对该虚拟视点图像和所述广播图像中包括的广播图像进行格式化。
该信令信息可以是地面虚拟频道表(TVCT)或者节目映射表(PMT)。
在示例实施方式中，该广播信号可以包括深度信息。
在该示例实施方式中，在产生所述虚拟视点图像时，首先，可以根据这些相机参数和深度信息产生虚拟视图视点(virtual view viewpoint)处的深度信息。接着，可以根据所述广播图像和虚拟视图视点来产生该虚拟视图视点处的虚拟视点图像。在示例实施方式中，可以通过该信令信息来指定该虚拟视图视点。在修改例中，可以根据用户命令来指定或改变该虚拟视图视点。
在该示例实施方式中，所述广播信号可以包括多个图像以及与所述多个图像中的一个相关的深度信息。在这种情况下，所述多个图像中的与所述深度信息相关的图像可以被确定为基础图像，并且可以基于所确定的基础图像、所述深度信息和所述相机参数来产生所述虚拟视图视点。
对象的形式信息可以被附加地包括在所述广播信号中。在这种情况下，可以根据所述相机参数和形式信息来产生所述虚拟视图视点。该形式信息可以包括由于不同的 对象的遮挡(occlusion)信息。
根据本发明的一个方面，提供了一种图像显示装置，该图像显示装置包括广播信号接收单元、渲染(render)单元和格式化器。该广播信号接收单元可以接收广播信号并解析该广播信号以提取信令信息，并且从所述信令信息获得至少一组相机参数。该渲染单元可以根据这些相机参数产生虚拟视点图像。该格式化器可以按照三维方式对该虚拟视点图像和所述广播信号中包括的广播图像进行格式化。
根据本发明的示例实施方式，在利用使用多个相机在不同方向上采集的立体3D图像或者多视点图像来实现3D显示时，限定用于用信号向接收机通知相机参数的句法和数据结构。由于接收机能够使用利用深度相机获得的深度信息和所述相机参数来合成虚拟视点处的3D场景，所以尽管获取端甚至已经从图像没有被清晰地发送的视点获取图像或者已经针对意在被接收端合成的视点获取图像，接收机也能够产生3D内容。
尽管通过省略相机图像的一部分的发送来减少传输带宽，但是可以发送3D显示处理中的渲染所需要的足够信息，并且所述接收机能够通过使用所发送的图像和信息来简单地处理用于3D显示的信号。
根据结合附图所考虑的以下详细描述，本发明的上述和其它目的、特征、方面和优点将变得更加明显。
附图说明
附图被包括进来以提供对本发明的进一步理解，并被并入本说明书且构成本说明书的一部分，附图例示了本发明的实施方式，并且与说明书一起用于解释本发明的原理。
附图中：
图1是例示通过发送系统来发送包括相机参数的图像信号以及通过接收系统基于该相机参数来产生和恢复图像的处理的流程图；
图2示出通过图1所例示的发送系统来进行编码的图像信息、深度信息和附加信息；
图3示出由接收系统基于图像信息、深度信息和附加信息所产生和恢复的图像；
图4是根据本发明的示例实施方式的用于产生和发送广播节目的系统的示意性 框图；
图5示出根据本发明的示例实施方式的相机参数被插入到的地面虚拟频道表(TVCT)的句法结构；
图6是示出根据浮点数显示方案的相机参数与句法元素之间的关系的表；
图7示出根据本发明的示例实施方式的固有相机参数描述符的句法结构；
图8示出根据本发明的示例实施方式的外在相机参数描述符的句法结构；
图9是根据本发明的示例实施方式的电视接收机的示意性框图；以及
图10是例示在图9所例示的电视接收机中解析和渲染内部参数和外部参数的处理的流程图。
具体实施方式
现在将详细参照本发明的优选实施方式，在附图中例示这些优选实施方式的示例。
现在将参照图1描述根据本发明的示例实施方式的通过发送系统来发送包括相机参数的图像信号以及在接收系统中基于这些相机参数来产生和恢复图像的处理。
发送系统通过使用多个相机(例如，一对立体相机)来采集图像(步骤S10)。所述多个相机中的至少一个是真实相机，而其它(多个)相机可以是(多个)虚拟相机。这里，真实相机是指向接收侧发送所采集的图像的流的相机。虚拟相机是指其图像流不被发送而其相机参数被发送到接收系统以使得该接收系统能够恢复对应的流(将被描述)的相机。该虚拟相机可以实际上不存在，并且该虚拟相机的相机参数(将被描述)可以由广播制造商或者工程师来确定。
此外，用于获得与包含在图像中的各个主视点相关的深度(或范围)信息的深度相机被设置为使得这些深度相机对应于实际相机，以使得发送系统能够结合该图像获得深度信息。另外，该发送系统从相机所采集的图像提取要被发送到接收系统的附加信息。该附加信息可以包括用于估计对象的由于位于该对象前方的另一物体而导致被覆盖并因此不能被看到的部分的信息。例如，该附加信息可以包括诸如对象轮廓等的几何信息、对象透明度信息、颜色信息等。在示例实施方式中，从真实相机所采集的图像获得该附加信息。然而，作为修改例，可以从虚拟相机所采集的图像或者从实际相机图像和虚拟相机图像的组合获得该附加信息。该深度信息和/或附加信息不是必 需的，而是可以被选择性地提取和发送，以帮助在该接收系统中产生虚拟图像。
在步骤S12中，发送系统将图像信号复用为图像、深度信息和附加信息相结合的形式。随后，发送系统对相机参数和经复用的图像信号进行编码，并将所述相机参数和经复用的图像信号发送到接收系统(步骤S14)。
当接收到经编码的图像信号时，接收系统对该经编码的图像信号进行解码以恢复图像、深度信息、附加信息和相机参数(步骤S20)。此后，该接收系统通过使用虚拟相机的相机参数来产生虚拟相机位置处的深度信息(步骤S22)。随后，该接收系统执行3D变换(warping)以产生虚拟相机位置处的图像(步骤S24)。最后，该接收系统根据对应的接收机的显示方案对在解码处理中恢复的图像和所产生的图像进行格式化以由此显示3D图像(步骤S26)。
现在将描述由发送系统发送所述经编码的图像信息、深度信息和附加信息以及由接收系统对该图像信息、深度信息和附加信息进行解码以基于所解码的信息产生并恢复图像的处理的示例。图2例示一个真实相机和一个虚拟相机。然而，图2仅仅是例示性的，可以设置更大数量的真实相机和虚拟相机。
在图2中，将真实相机所采集的图像标记为img[0]，并将虚拟相机所采集的图像标记为img[1]。将图像img[0]上的与3D真实世界中的点(P)相对应的点标记为p[0]，并且将图像img[1]上的与该点(P)相对应的点标记为p[1]。此外，针对各个相机提取相机参数。这些相机参数被分类为固有相机参数和外在相机参数。固有相机参数表现相机本身的特性(诸如包括相机镜头的焦距和主点(principal point)以及倾斜系数(skew factor)等的光学特性)。外在相机参数指示真实相机或虚拟相机的几何位置和方向(包括各个相机的基准坐标系统相对于真实世界的基准坐标系统的平移、旋转量等)。在图2中，将针对第一相机(即，真实相机)的固有参数指示为“A”。当假设第二相机(即，虚拟相机)是与第一相机相同类型的相机并利用第一相机被充分地校准时，则与第一相机类似，该第二相机的固有参数也是“A”。此外，假设该第一相机的旋转量是r[0]且平移是t[0]。假设该第二相机的旋转量是r[1]且平移是t[1]。
根据本发明的示例实施方式，将针对全部真实相机的图像和深度信息这两者发送到接收系统。基于一个图像创建附加信息，并将该附加信息发送到该接收系统。因而，在图2例示的设置了一个真实相机和一个虚拟相机的示例中，图像img[0]和深度信息depth[0]被发送到该接收系统，并且该附加信息也被发送，以便该接收系统使用该附 加信息来产生图像img[1]和深度信息depth[1]。
该接收系统对经编码的图像信号进行解码以恢复针对第一相机(即，真实相机)的图像img[0]、深度信息depth[0]和附加信息。另外，该接收系统恢复针对全部相机的相机参数A、r[0]、t[0]、r[1]和t[1]。参照图3，该接收系统通过使用这些相机参数A、r[0]、t[0]、r[1]和t[1]和针对第一相机的图像img[0]、深度信息depth[0]和附加信息来产生第二相机的位置处的深度信息depth[1]。随后，该接收系统通过执行3D变换来产生第二虚拟相机的位置处的图像img[1]。由于除了第一相机所采集的图像img[0]以外，还确保第二相机的位置处的图像img[1]，所以该接收系统能够对两个图像(即，真实图像img[0]和虚拟图像img[1])进行格式化以显示3D图像。例如，该接收系统将该真实图像和该虚拟图像中的一个图像设置为左图像而将另一个图像设置为右图像，并根据3D格式以立体方式显示该两个图像。
图4是根据本发明的示例实施方式的用于产生和发送广播节目的系统的示意性框图。根据本发明的示例实施方式的用于产生和发送广播节目的系统包括多个相机100a和102a、被设置为分别与所述多个相机100a和102a相对应的深度相机110b和102b、预处理器104、相机参数组织器106、节目编码器108、PSI/PSIP产生器116、传输复用器、频道编码器和调制器120以及发送机122。
各个相机100a和102a包括镜头和被设置为与该镜头相对应的图像拾取(pickup)元件，并且所述相机100a和102a采集场景的图像。在示例实施方式中，该两个相机100a和102a的镜头被设置为类似于人眼彼此分开65毫米，因此，相机100a和102a获得具有双目视差的两个2D图像。然而，本发明不限于实现除深度相机以外的用于采集图像的两个相机，并且可以设置包括虚拟相机的多个相机来采集多个图像以实现如上所述的多视点图像。
预处理器104消除相机100a、100b、102a和102b所采集的图像中可能存在的噪声，对图像进行校准并解决亮度分量的不平衡现象。经预处理单元104预处理的图像可以被存储在存储单元中或者被编辑，因而当然，相机100a、100b、102a和102b所进行的采集与节目编码器108所进行的编码之间可以存在相当大的时间差。
相机参数组织器106获得针对相机100a和102a的相机参数。在示例实施方式中，相机参数组织器106从相机100a和102a中的每一个接收针对相机100a和102a中的每一个的诸如相机镜头的焦距、主点、倾斜系数等的固有参数，以及诸如平移、旋转 量等的外在参数。作为修改例，相机参数组织器106可以从用于在图像采集地点设置相机的机械装置或计算机程序接收这些固有相机参数和外在相机参数。相机参数组织器106根据预定格式向PSI/PSIP产生器116提供这些相机参数，使得PSI/PSIP产生器116能够在PSIP中包括这些相机参数。
在节目编码器108中，音频编码器110从安装在图像采集场景中的适当位置的多个麦克风(未示出)接收语音信号，根据预定的标准(例如，AC-3标准)对它们进行编码，以产生音频基本流(ES：elementary stream)。
视频编码器112根据特定标准对相机110a和102a所采集的图像和相机100b和102b所采集的深度信息进行编码，并且去除时间和空间冗余以产生视频基本流(ES)。另外，视频编码器112通过使用真实相机100a所采集的图像和/或虚拟相机102a所采集的图像来产生附加信息，并且对所产生的附加信息进行编码。如上所述，该附加信息包括用于估计遮挡(即，由于前方的物体而导致被覆盖并且不可见的部分)的信息，诸如包括对象轮廓等的几何信息、对象透明度信息、颜色信息等。
优选地，视频编码器112独立地对所采集的图像、深度信息和附加信息进行编码，以产生独立的流。在示例实施方式中，视频编码器112根据ISO/IEC 13818-2的MPEG-2标准和A/53第4部分的ATSC数字电视标准来对所述图像、深度信息和附加信息进行编码。然而，本发明不限于此，视频编码器112可以根据由ISO/IEC JTC1/SC29/WG11和ITU-T SG16Q.6的联合视频组(JVT)起草的H.264/AVC标准或者任何其它方案来对该图像进行编码。
打包器(packetizer)114分别从音频编码器110和视频编码器112接收音频ES和视频ES，并且对所述各个流进行打包以产生经打包的基本流。
PSI/PSIP产生器116产生节目专用信息(PSI)以及节目和系统信息协议(PSIP)数据。具体地说，在本发明的示例实施方式中，PSI/PSIP产生器116从相机参数组织器106接收相机参数，并将这些相机参数包括在PSIP中。在示例实施方式中，这些相机参数被插入到地面虚拟频道表(TVCT)中。然而，本发明不限于此，这些相机参数也可以被插入到PMT或任何其它表中。
传输复用器118对PES和PSI/PSIP信息进行复用，并且将头部添加到该PES和PSI/PSIP信息以产生传输流(TS)。具体地说，在本示例实施方式中，在通过传输复用器118与PES进行复用的PSIP数据中，在TVCT中描述这些相机参数。此外，在 图4例示的系统中，经由地面(陆地)波发送一个频道，但是例如，用于通过有线网络或卫星网络发送广播信号的系统可以附加地包括用于复用多个频道的广播信号的发送复用器以产生多节目TS。
频道编码器和调制器120对该TS执行误差校正编码，以使得接收机能够检测和校正可能由于传输频道中的噪声所导致的误差。另外，频道编码器和调制器120根据系统所采用的调制方案(例如，8-VSB调制方案)来调制所述经误差校正编码的TS。发送机122例如通过天线根据频道特性来发送所述经调制的广播信号。
现在将参照图5到图8来描述通过图4所例示的系统来发送相机参数的方法。如上所述，在示例实施方式中，可以按照PSIP内的TVCT中的描述符的形式来描述这些相机参数。
图5示出根据本发明的示例实施方式的包括相机参数的描述符的TVCT的句法结构。该TVCT可以具有描述符以传送与虚拟频道相关的信息并扩展该信息。根据本示例实施方式的相机参数可以组成该TVCT的描述符中的一个。详细地说，在PSIP中定义各自具有特定目的的多个表，并且所述多个表中的每一个具有与MPEG的PSI(节目专用信息)中定义的表的段(section)结构相类似的段结构。也就是说，各个表被配置为具有用于发送的段的结构，并且根据表的类型可以包括一个或者多个段。
各个段可以被划分为包括表和段的基本信息的头部、包括表的实际数据的主体以及包括用于误差校正的信息的尾部，以使得接收系统能够选择性地接收段。在描述图5例示的TVCT段时，将通过对从“table_id”字段到“protocol_vision”字段的头部、从“num_channels_in_section”字段到“additional_descriptors_length”字段的主体以及包括“CRC_32”字段的尾部进行区分来描述该TVCT段。
首先，该头部中的“table_id”字段指示PSIP中的表类型。在TVCT的情况下，根据MPEG、ATSC、ARIB、SCTE或DVB标准将该“table_id”字段确定为具有“0xC8”的8比特的值。“section_syntax_indicator”字段指示表段的格式，并且在ATSC PSIP表的情况下，根据例如ISO/IEC 13818-1、表2-30将该“section_syntax_indicator”字段确定具有为1的值。“private_indicator”字段指示该段中从该字段到该表段的末尾的剩余字节的数量。“transport_stream_id”指示传输流的TS标识符。“version_number”字段指示该表段的版本号，而“current_next_indicator”字段指示该表段是否遵循当前版本或下一版本。“section_number”字段指示该表段的序列号，而 “last_section_number”指示先前表段的序列号。“protocol_version”字段指示协议版本。
在所述主体部分中，“num_channels_in_section”字段指示被限定为遵循该表段的虚拟频道的数量。针对各个虚拟频道重复描述“for”循环中的从“short_name”到descriptor()指示字段的部分。
“short_name”字段允许针对虚拟频道分配按照Unicode形成的短名称。“major_channel_number”字段和“minor_channel_number”字段被组合以指示虚拟频道数量。“modulation_mode”指示用于发送单独频道的调制模式，而“carrier frequency”字段指示载波频率。“channel_TSID”字段指示包括虚拟频道所指的节目的频道的传输流ID。“program_number”字段使得能够唯一地识别传输流中存在的各个节目业务。
“ETM_location”字段指示经扩展的事件表是否存在。“access_controlled”字段指示对应的虚拟频道是否被访问和控制。“hidden”字段指示虚拟频道是否能够被直接输入以访问对应的频道，或者频道是否被隐藏以使得当输入频道号码时或不断切换频道(surfing)时将不显示该频道。“hide_guide”字段指示对应的频道或者针对隐藏频道的相关事件是否出现在EPG显示上。“service_type”字段指示虚拟频道中设置的业务类型。“source_id”字段指示是否在多个虚拟频道之间进行链接、输入到事件信息表中的内容，以及是否允许多个经扩展的事件文本表之间的链路，该“source_id”字段可以指示与虚拟频道相关的节目资源。
“descriptors_length”字段指示该字段后面的描述符字段的总字节长度，而descriptor()部分是描述单独的描述符的地方。可以通过使用additional_descriptors_length和additional_descriptor()字段来包括不同的描述符循环。
在尾部部分，“CRC_32”字段指示根据针对从“table_id”字段到该表的最后字节的每个字节的多项式运算所计算出的CRC数据，因而使得接收机能够检测误差。
在本发明的示例实施方式中，可以如上所述在TVCT表中的“descriptor()”部分按照固有参数描述符和外在参数描述符的顺序来描述和定义相机参数。可以在“descriptor()”部分描述固有相机参数，并且可以在“additional_descriptor()”部分描述外在相机参数。
在示例实施方式中，假设固有相机参数被校准，并且公共地应用于每个相机的一个固有相机参数描述符被传送到接收系统。然而，作为修改例，针对各个相机的单独 的固有相机参数描述符可以被传送到该接收系统。
在示例实施方式中，固有相机参数包括焦距、主点和倾斜系数。焦距被划分为水平焦距(focal_length_x)和垂直焦距(focal_length_y)并被描述。类似地，主点位置被划分为水平主点(principal_point_x)和垂直主点(principal_point_y)。根据IEC60550:1989到IEEE 954-1985标准的浮点数显示方案来表示各个参数，并且将所述各个参数划分为符号(sign)、索引部分、有效数字尾数(mantissa)部分，并显示所述各个参数。在示例实施方式中，用1比特整数来指示所述符号，并且用6比特整数来指示所述索引部分和有效数字尾数部分。具体地说，为了指示负数，按照excess-31码的有偏差的指数形式来指示所述索引部分。图6是示出根据浮点数显示方案的相机参数与句法元素之间关系的表。
如下式所示，上述固有参数组成固有参数矩阵：
[式1]
A=focal_length_xskew_factorprincipal_point_xfocal_length_y0principal_point_y001]]>
此外，如下式2所示，可以由旋转矩阵和位移矩阵来表示针对包括真实相机和虚拟相机的各个相机分别定义的固有相机参数。这里，i指示针对第i个相机的参数。
[式2]
r[i]=r[i][0][0]r[i][0][1]r[i][0][2]r[i][1][0]r[i][1][1]r[i][1][2]r[i][2][0]r[i][2][1]r[i][2][2]]]>
t[i]=t[i][0]t[i][1]t[i][2]]]>
旋转矩阵和位移矩阵的各个分量还被划分为符号、指数部分、有效数字尾数部分。
图7示出根据本发明的示例实施方式的固有相机参数描述符的句法结构。
“descriptor_tag”字段用作描述符的ID。ATSC A/65标准中的多个空值中的一个可以被分配以指示该描述符是固有相机描述符。“descriptor_length”字段指示与包含在该描述符中的字节的数量相关的信息。“parameter_id”字段指示参数描述符的标识。 “elementary_PID”字段指示针对应用了对应的参数的视频ES的PID值。一般而言，根据ATSC A/65标准，通过业务位置描述符(SLD)来描述针对音频ES和视频ES的分组标识(PID)(即，基本PID)。可以在包含在图7中的固有相机参数描述符中的“elementary_PID”字段中写入与对应的参数相关的视频ES的PID，以指示该对应的参数与多个视频ES中的哪个相关，因而使得接收侧能够识别相机参数与视频ES之间的连接关系。
“prec_focal_length”字段指示针对焦距(focal_length_x、focal_length_y)的最大允许截断误差的指数部分。这里，针对该焦距的最大允许截断误差是2-prec_focal_length。“prec_principal_point”字段指示针对主点(principal_point_x、principal_point_y)的最大允许截断误差的指数部分，并且这里，针对该主点的最大允许截断误差是2-prec_principal_point。“prec_skew_factor”字段指示针对倾斜系数的最大允许截断误差的指数部分，并且这里，针对倾斜系数的最大允许截断误差是2-prec_skew_factor。
“sign_focal_length_x”字段是指示相机的水平焦距的符号的1比特值。当该字段值是0时，指示该符号是正数，当该字段值是1时，指示该符号是负数。“exponent_focal_length_x”字段是指示水平焦距的指数部分的6比特值，该“exponent_focal_length_x”字段具有在从0到62的范围内的值。“mantissa_focal_length_x”字段是指示水平焦距的有效数字尾数部分的值并具有6比特以内的可变比特长度，并且这里，如下确定该比特长度：
-当exponent_focal_x＝0时，
length＝maximum value(0,prec_focal_length-30)
-当exponent_focal_length_x大于0并小于63时，
length＝maximum value(0,exponent_focal_length_x+prec_focal_length-31)
类似地，“sign_focal_length_y”字段是指示垂直焦距的符号的1比特值。当该字段值是0时，指示该符号是正数，而当该字段值是1时，指示该符号是负数。“exponent_focal_length_y”字段是指示垂直焦距的指数部分的6比特值，“exponent_focal_length_y”字段具有在从0到62的范围内的值。“mantissa_focal_length_y”字段是指示垂直焦距的有效数字尾数部分的值并具有6比特以内的可变比特长度，并且这里，如下确定该比特长度：
-当exponent_focal_length_y＝0时，
length＝maximum(0,prec_focal_length-30)
-当exponent_focal_length_y大于0并小于63时，
length＝maximum value(0,exponent_focal_length_y+prec_focal_length-31)
类似地，“sign_principal_point_x”字段是指示垂直主点的符号的1比特值。当该字段值是0时，指示该符号是正数，而当该字段值是1时，指示该符号是负数。“exponent_principal_point_y”是指示垂直主点的指数部分的6比特值并可以具有在从0到62的范围内的值。“mantissa_principal_point_x”是指示垂直主点的有效数字尾数部分的值并且“mantissa_principal_point_x”具有6比特以内的可变比特长度，并且这里，如下确定该比特长度：
-当exponent_principal_point_x＝0时，
length＝maximum value(0,prec_principal_point-30)
-当exponent_principal_point_x大于0并小于63时，
length＝maximum value(0,exponent_principal_point_x
+prec_principal_point-31)
按照这种方式，根据本发明的示例实施方式，假设全部相机被校准为具有相同的特性，则公共地应用于全部相机的固有相机参数描述符被传送到接收系统。然而，作为修改例，这些相机中的一些可以具有不同的特性，并且可以将针对各个相机的固有相机参数描述符独立地传送到接收机。
图8示出根据本发明的示例实施方式的外在相机参数描述符的句法结构。如图所示，将一个外在相机描述符描述为单独包括与全部相机相关的设置信息。这些相机包括用于发送真实图像的至少一个真实相机，而其它剩余的相机可以是新视点的不发送真实图像但是能够在接收机处产生并恢复图像的虚拟相机。
详细地说，外在相机参数描述符包括“descriptor_tag”字段、“descriptor_length”字段、“num_cameras_minus1”字段、“precision_rotation_param”字段和“prec_translation_param”字段。
“descriptor_tag”字段用作描述符的ID。ATSC A/65标准中的多个空值中的一个可以被分配以指示该描述符是外在相机参数。“descriptor_length”字段指示与包含在 该描述符中的字节的数量相关的信息。
“num_cameras_minus1”字段指示从作为发送相机参数的对象的真实相机和虚拟相机的总数中减去1所获得的数。“precision_rotation”字段指示针对旋转矩阵分量r[i][j][k]的最大允许截断误差的指数部分。这里，该最大允许截断误差是2-prec_rotation。“prec_translation”字段指示针对位移矩阵分量t[i][j][k]的最大允许截断误差的指数部分。这里，该最大允许截断误差是2-prec_translation。
在“for”循环中针对每个相机重复描述“camera_id”字段之后的描述符部分。
“camera_id”字段是使得能够唯一地识别虚拟相机、真实相机或视点的8比特参数。“ref_parameter_id”字段指示包括针对与“camera_id”字段相对应的相机的固有参数的固有参数描述符的parameter_id。这里，虚拟相机根据情况可以不具有相机ID，所以“ref_parameter_id”可以不被分配。在这种情况下，可以在针对虚拟相机的“ref_prameter_id”处指示针对所述多个真实相机中的任意一个的parameter_id。“priority_id”字段指示要在立体广播或多视点广播中输出的视点的优先级。优先级值可以不被重复，并且低优先级值低指示高优先级。在2D广播的情况下，该字段具有值0。此外，在立体广播的情况下，提供与至少对应于优先级级别0和1的相机视点相对应的流，并且接收机接收与优先级级别0和1相对应的流。
“stream_available”字段是指示对应的相机参数是否与真实相机或虚拟相机相关的标记。在示例实施方式中，针对虚拟相机的标记值是0并且针对真实相机的标记值是1。另外，在外在相机参数的情况下，类似于固有相机参数，可以通过使用针对应用了对应的参数的视频ES的PID值(即，“elementary_PID”字段)来指示应用了该外在相机参数的视频ES。也就是说，可以将与对应的参数相关的视频ES的PID写入到当相机是真实相机时(即，当‘stream_available’＝1时)所包括的“elementary_PID”字段中，以指示该对应的参数与哪个视频ES相关，使得接收侧能够识别相机参数与视频ES之间的连接关系。
随后，顺序地表示针对各个相机的旋转矩阵和位移矩阵的值。在旋转矩阵r[i]和位移矩阵t[i]中，索引i具有在[0,num_cameras_minus1]范围内的值，并且低的i值被分配给真实相机以及具有高优先级级别的相机。
在与旋转矩阵相关的信息中，“sign_r[i][j][k]”字段指示第i个相机的旋转矩阵的(j,k)分量的符号，并且当该字段值是0时，该符号指示正数，而当该字段值是1时， 该符号指示负数。“exponent_r[i][j][k]”字段是指示第i个相机的旋转矩阵的(j,k)分量的指数部分的6比特值，并可以具有在从0到62的范围内的值。“mantissa_r[i][j][k]”字段是指示第i个相机的旋转矩阵的(j,k)分量的有效数字尾数部分的值，并具有6比特以内的可变比特长度，并且如下确定该比特长度：
-当exponent_r[i][j][k]＝0时，
length＝maximum value(0,prec_rotation-30)
-当exponent_r[i][j][k]大于0并小于63时，
length＝maximum value(0,exponent_r[i][j][k]+prec_rotation-31)
在与针对各个相机的位移矩阵相关的信息中，“sign_t[i][j]”字段指示第i个相机的位移矩阵的第j分量的符号。当该字段值是0时，该符号指示正数，而当该字段值是1时，该符号指示负数。“exponent_t[i][j]”字段是指示第i个相机的位移矩阵的第j分量的指数部分的6比特值，并可以具有在从0到62的范围内的值。“mantissa_t[i][j]”字段是指示第i个相机的位移矩阵的第j分量的有效数字尾数部分的值，并具有6比特以内的可变比特长度，并且如下确定该比特长度：
-当exponent_t[i][j]＝0时，
length＝maximum value(0,prec_translation-30)
-当exponent_t[i][j]大于0并小于63时，
length＝maximum value(0,exponent_t[i][j]+prec_translation-31)
例如，当通过两个相机获得立体图像时，“num_cameras_minus1”字段具有值1。当两个相机中的一个相机视点处的视频图像和深度图像被发送并且仅针对另一相机视点的相机参数被发送时，将针对真实相机的外在参数指示为旋转矩阵r[0]和位移矩阵t[0]，并且将针对虚拟相机的外在参数指示为旋转矩阵r[1]和位移矩阵t[1]。如下文所述，接收机可以使用该信息来产生和恢复该虚拟相机视点处的图像。
图9是根据本发明的示例实施方式的电视接收机的示意性框图。根据本发明的示例实施方式的电视接收机适于接收空中(OTA)广播信号以及再现图像。
调谐器200从通过天线(未示出)输入的多个广播信号中选择由用户选择的任意一个频道的广播信号并且输出该广播信号。解调器和频道解码器202对来自调谐器200的广播信号进行解调，对经解调的信号执行误差校正解码，并输出传输流(TS)。传输解复用器204对该TS进行解复用，以将视频PES与音频PES分开，并提取 PSI/PSIP信息。
解包器206对该视频PES和该音频PES进行解包以恢复视频ES和音频ES。音频解码器208对该音频ES进行解码以输出音频比特流。该音频比特流被数模转换器(未示出)转换为模拟语音信号，被放大器(未示出)放大，接着通过扬声器(未示出)被输出。视频解码器210对该视频ES进行解码以恢复原始图像。音频解码器208和视频解码器210可以基于通过PSI/PSIP处理器214(将被描述)确定的分组ID(PID)来执行该解码处理。在该解码处理中，视频解码器210提取深度信息并提取产生虚拟相机视点处的图像所需要的附加信息(即，用于估计由于在前面的物体而导致被覆盖并且不可见的部分(遮挡)的信息，例如，诸如对象轮廓等的几何信息、对象透明度信息、颜色信息等)，并且将所述深度信息和附加信息提供到3D渲染单元216。然而，在本发明的不同示例实施方式中，所述深度信息和/或附加信息可以被传输解复用器204分离。
PSI/PSIP处理器214从传输解复用器204接收PSI/PSIP信息，解析所接收的PSI/PSIP信息，并且将经解析的信息存储在存储器(未示出)或寄存器中，以由此使得能够基于所存储的信息再现广播。具体地说，在本示例实施方式中，被接收机接收的PSIP的TVCT包括相机参数，并且PSI/PSIP处理器214提取这些相机参数并将所提取的相机参数提供到3D渲染单元216。
3D渲染单元216通过使用所恢复的图像、深度信息和附加信息以及相机参数来产生虚拟相机位置处的深度信息。另外，3D渲染单元216基于所恢复的图像和虚拟相机位置处的深度信息来执行3D变换以产生虚拟相机位置处的图像。格式化器220根据对应的接收机的显示方案对在解码处理中恢复的图像(即，真实相机所采集的图像和3D渲染单元216所产生的图像)进行格式化，并通过显示板222显示3D图像。这里，可以响应于用户命令来选择性地执行以下步骤：由3D渲染单元216产生虚拟相机位置处的深度信息和图像；以及由格式化器220对该图像进行格式化。也就是说，观众可能希望通过操纵遥控器(未示出)来不显示所合成的图像或指定要产生图像的视点。当施加这种操纵命令时，主控制器212将该命令存储在存储器中，并参照该命令来控制图像的产生和显示。
现在将参照图10来详细描述在图9所例示的电视接收机中解析固有参数和外在参数并执行渲染的处理。
首先，传输解复用器204对来自解调器和频道解码器202的TS进行解复用，以将视频PES与音频PES分开并提取PSI/PSIP信息。在此处理中，传输解复用器204对具有分组ID(PID)“0x1FFB”的TS分组进行过滤。一般而言，当遵循A/53第4部分的ATSC数字电视标准时，在与TVCT不同的其它表(即，系统时间表(STT)、主要节目指南表(MGT)或价格表(RRT))中使用PID值“0x1FFB”。因而，传输解复用器204或PSI/PSIP处理器214解析该PSIP以另外地获得具有“table_id”字段值“0xC8”的段数据，作为TVCT(步骤S300)。
在步骤S302中，PSI/PSIP处理器214基于“major_channel_number”和“minor_channel_number”来识别当前所调谐的频道的descriptor()，解析该频道的固有相机参数描述符和外在相机参数描述符，并且将这些相机参数存储在存储器中。
可以通过以下所示的式3来根据包含在相机参数描述符中的值获得相机参数值。
[式3]
如果0<E<63，则X＝(-1)s·2E-31·(1+n÷2v)
如果E＝0且M非零，则X＝(-1)s·2-(30+v)·n
如果E＝0且M＝0，则X＝(-1)s·00
这里，X指示诸如focal_length_x、focal_length_y、principal_point_x、principal_point_y、skew_factor、r[i][j][k]、t[i][j]等的参数值，s、E和n指示通过图6所示的描述符传送的各个参数的符号、指数部分和有效数字尾数部分，而v指示该有效数字尾数部分的数字的数量。
参照图10，在步骤S304中，基于TVCT中的固有相机参数描述符来检查基础视频流的PID。这里，该基础视频流是指作为图像产生的基础的流，其中利用“stream_available”字段来指示针对真实相机的参数。能够通过“elementary_PID”来识别该流的PID值。如果仅存在一个真实相机，则与对应的相机相关的流是基础流。然而，当存在多个真实相机时，针对根据特定规则确定的相机(例如，与被要求产生图像的虚拟相机相邻的相机)的流可以成为基础流。在步骤S306中，视频解码器210基于该PID对基础视频流进行过滤，并且对该基础视频流进行解码以恢复原始图像。
在步骤S308中，3D渲染单元216通过使用与所恢复的图像相关的深度信息以及存储在存储器中的相机参数来产生虚拟相机位置处的深度信息。在这种情况下，如上所述，与所恢复的图像相关的深度信息和/或附加信息能够一起被使用。
现在将更详细地描述这种情况。3D真实空间中的点P被映射到第0个相机图像 中的点p[0]，被映射到第1个相机图像中的点p[1]，以及一般地说，被映射到第i个相机图像中的点p[i]。可以通过以下所示的式4来利用相机参数表示真实空间中的点P与第i个相机图像中的点p[i]之间的关系表示：
[式4]
s[i]p[i]1=A[i]I34r[i]t[i]01P1]]>
这里，s[i]是比例系数，A[i]是固有参数矩阵，r[i]是旋转矩阵，t[i]是位移矩阵，并且I34指示其中3×3单位矩阵和3×1零列向量经增广的3×4矩阵[I3:0]。具体地说，当基于第0个相机的坐标轴获取整体坐标轴时，第0相机图像中的点p[0]不具有旋转或者移动转换，如以下式5所示：
[式5]
s[0]p[0]1=A[0]I34P1]]>
点P的z轴坐标值的深度值是z[0]，并注意到，在式5中z[0]＝s[0]。也就是说，比例系数等于该深度值。因而，从式5导出当将该值代入式4，并且利用值z[i]来代替比例系数s[i]时，可以得到式6。
[式6]
z[i]p[i]1=z[0]A[i]r[r]A-1[0]P[0]1+A[i]t[t]]]>
在式6中，z[i]指示第i个相机图像中的深度值。结果，可以通过使用作为基础图像的第0个相机图像中的参数、利用单应变换(homographic transform)等对第i个相机图像中的深度图(map)执行3D变换来获得该深度图。
参照图10，在步骤S310中，3D渲染单元216基于该基础视频流和虚拟相机位置处的深度信息来执行3D变换，以由此产生虚拟相机位置处的图像。格式化器220根据适合该接收机的显示方案的立体方案或多视点显示方案来对通过该解码处理恢复的图像以及由3D渲染单元216产生的图像进行格式化，并且在显示板222上显示3D图像(步骤S312)。
按照这种方式，能够根据针对特定虚拟相机视点的相机参数来产生图像。
在不改变本发明的技术概念或实质特征的情况下，能够以各种方式修改本发明以及以不同的实施方式来实施本发明。
例如，在以上描述中，在提取相机参数和附加信息时提供并使用虚拟相机，但是作为修改例，不需要提供虚拟相机。在这种情况下，假设利用实际相机来对相机参数中的固有参数进行校准，以使得该固有参数被认为与真实相机相同，该固有参数被适当地选择，并且可以通过使用真实相机所采集的图像来提取附加信息。
此外，在以上描述中，相机参数被包括在TVCT中并被发送，但是作为修改例，这些相机参数可以被包括在PMT中并被发送。本领域技术人员能够基于本发明的描述来容易地实现这种实施方式，因此将省略这种实施方式的详细描述。
另外，在以上描述中，真实相机图像与基于相机参数产生的图像被混合以进行显示，但是在不同的示例实施方式中，通过图形或动画工具产生的图像可以与相机所采集的真实图像相结合并进行显示。
另外，在以上描述中，针对虚拟相机的相机参数被接受，并且基于这些相机参数来产生虚拟相机视点处的图像，但是作为修改例，用户所指定的特定视点信息可以被接受，并且可以产生与该视点相对应的相机参数以提供图像。
另外，在以上描述中，向所述多个真实相机图像信号中的每一个提供深度信息，但是在修改例中，可以仅为所述多个真实相机图像信号中的一些提供深度信息。在这种情况下，优选地，接收机可以通过使用所述多个真实相机图像信号中的一个作为基础图像信号来产生图像。
如上所述，本发明能够用于使用自由视点视频和立体图像来产生多视点图像。另外，本发明能够用于根据先前采集的立体图像来产生多个中间视点插值图像并将这些中间视点插值图像转换为3D视频。
另外，本发明能够用于自然地混合真实视频图像和图形图像。
由于在不脱离本发明的特征的情况下可以按照多种形式来具体实现本发明，所以还应当理解，除非明确指出，否则上述实施方式不被以上描述的任何细节所限制，而是应当在如所附权利要求限定的本发明的范围内进行广义理解，因此，落在权利要求的边界(mete)和界限(bound)或者这些边界和界限的等价物内的所有变化和修改旨在被所附权利要求涵盖。