一种全景视频拼接系统及拼接方法.pdf

本发明涉及一种全景视频拼接系统，包括设置在摄像区域内的全景摄像机，全景摄像机包括多个相互连接的子相机，还包括用于实时从全景摄像机上获取初始全景视频图像的视频获取模块、用于对子相机的视频图像进行移动处理的移动模块、用于对全景视频图像进行拼接处理的图像拼接处理模块；本发明还涉及一种全景视频拼接方法；本发明通过本拼接系统直接对相邻的两个视频图像进行移动拼接融合，调节控制相邻的视频图像边界的重叠区域，对该重叠区域进行平滑融合处理，解决了若干个视频图像拼接成全景视频图像时视频显示的实时性差和稳定性不好的问题，并减少了摄像环境多变、需通过图像拼接算法进行拼接融合的复杂性等原因引起的视频拼接融合所需时间。

权利要求书1.  一种全景视频拼接系统，包括设置在摄像区域内的全景摄像机(5)，所述全景摄像机(5)包括多个相互连接的子相机，其特征在于，还包括视频获取模块(1)、移动模块(2)、图像拼接处理模块(3)和图像显示模块(4)；所述视频获取模块(1)，用于实时从全景摄像机(5)上获取初始全景视频图像；所述移动模块(2)，用于根据需要决定是否对子相机的视频图像进行移动处理，如果移动某一子相机的视频图像，则将初始全景视频图像发送至所述图像拼接处理模块(3)中处理，如果未对子相机的视频图像进行移动，则将初始全景视频图像发送至所述图像显示模块(4)中显示；所述图像拼接处理模块(3)，用于根据子相机在视频图像中的移动量来确定全景视频图像的高度和宽度，并对重叠视频图像区域和非重叠视频图像区域的YUV颜色编码数据进行处理来实现图像拼接，并将处理后的全景视频图像发送至所述图像显示模块(4)；所述图像显示模块(4)，用于显示初始全景视频图像或者显示经所述图像拼接处理模块(3)处理后的全景视频图像。2.  根据权利要求1所述的全景视频拼接系统，其特征在于，所述图像拼接处理模块(3)包括拼接单元(301)、数据处理单元(302)和存储单元(303)；所述拼接单元(301)，用于获取初始全景视频图像的高度、单个子相机的视频图像的高度及宽度以及子相机在视频图像中垂直和水平方向上的移动量，根据子相机的视频图像的高度及宽度和移动量得到移动后的全景视 频图像的高度和宽度，并根据移动后的全景视频图像确定各个子相机的起始位置点的坐标；所述数据处理单元(302)，用于获取移动后全景视频图像的全景YUV颜色编码数据以及重叠视频图像区域的YUV颜色编码数据，一并发送至存储单元(303)，再将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中，并根据各个子相机的起始位置点坐标将非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中，并将处理后的全景视频图像发送至所述图像显示模块(4)中显示；所述存储单元(303)，用于存储全景YUV颜色编码数据和重叠视频图像区域的YUV颜色编码数据。3.  根据权利要求1或2所述的全景视频拼接系统，其特征在于，所述将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中的具体实现方法为，利用公式加权平滑：Y＝Y1*(1-d)+Y2*d，其中，Y1和Y2分别是相邻的子相机的视频图像YUV颜色编码数据的值，Y是求得重叠后视频图像YUV颜色编码数据的值，d为权值。4.  根据权利要求1或2所述的全景视频拼接系统，其特征在于，所述非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中的具体实现方法为，将非重叠视频图像区域的YUV颜色编码数据直接复制到全景YUV颜色编码数据中进行过渡处理。5.  一种全景视频拼接方法，其特征在于，包括如下步骤：步骤A：实时从全景摄像机上获取初始全景视频图像；步骤B：根据需要决定是否对子相机的视频图像进行移动处理，如果移动某一子相机的视频图像，则继续对初始全景视频图像进行拼接处理，并执 行步骤C，如果未对子相机的视频图像进行移动，则发送初始全景视频图像，并执行步骤D；步骤C：根据子相机视频图像的移动量来确定全景视频图像的高度和宽度，并对重叠视频图像区域和非重叠视频图像区域的YUV颜色编码数据进行处理来实现图像拼接，并发送处理后的全景视频图像，并执行步骤E；步骤D：显示初始全景视频图像；步骤E：显示经过处理后的全景视频图像。6.  根据权利要求5所述的全景视频拼接方法，其特征在于，步骤C图像拼接处理模块对全景视频图像进行处理的具体步骤为,步骤C1：获取初始全景视频图像的高度、单个子相机的视频图像的高度及宽度以及子相机在视频图像中垂直和水平方向上的移动量；步骤C2：根据子相机的视频图像的高度及宽度和子相机在视频图像中垂直和水平方向上的移动量得到移动后的全景视频图像的高度和宽度；步骤C3：根据移动后的全景视频图像的高度和宽度确定各个子相机的起始位置点的坐标；步骤C4：获取移动后全景视频图像的全景YUV颜色编码数据以及重叠视频图像区域的YUV颜色编码数据；步骤C5：将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中；步骤C6：根据步骤C3确定的各个子相机的起始位置点的坐标，将非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中，得到处理后的全景视频图像。7.  根据权利要求5或6所述的全景视频拼接方法，其特征在于，所述将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中的具体实现方法为，利用公式加权平滑：Y＝Y1*(1-d)+Y2*d，其中，Y1和Y2分别是相邻的子相机的视频图像YUV颜色编码数据的值，Y是求得重叠后视频图像YUV颜色编码数据的值，d为权值。8.  根据权利要求5或6所述的全景视频拼接方法，其特征在于，所述非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中的具体实现方法为，将非重叠视频图像区域的YUV颜色编码数据直接复制到全景YUV颜色编码数据中进行过渡处理。

说明书一种全景视频拼接系统及拼接方法
技术领域
本发明涉及视频处理技术领域，尤其涉及一种全景视频拼接系统及拼接方法。
背景技术
视频拼接技术是指将若干个摄像机采集到的视频图像拼接形成一幅全景图像的技术，目前常用的视频拼接技术大多是基于图像拼接算法上找出相邻视频图像中的重合部分进行转换拼接，但这类方法受摄像场景的变化、拍摄角度的不同和拼接算法等因素的影响，特别是当视频图像中有运动的物体时，很难实现视频图像的稳定实时拼接。
发明内容
本发明所要解决的技术问题是提供一种全景视频拼接系统及拼接方法，直接对相邻的两个视频图像进行移动拼接融合，调节控制相邻的视频图像边界的重叠区域，对该重叠区域进行平滑融合处理，解决了若干个视频图像拼接成全景视频图像时视频显示的实时性差和稳定性不好的问题。
本发明解决上述技术问题的技术方案如下：一种全景视频拼接系统，包括设置在摄像区域内的全景摄像机，所述全景摄像机包括多个相互连接的子相机，还包括视频获取模块、移动模块、图像拼接处理模块和图像显示模块；
所述视频获取模块，用于实时从全景摄像机上获取初始全景视频图像；
所述移动模块，用于根据需要决定是否对子相机的视频图像进行移动处理，如果移动某一子相机的视频图像，则将初始全景视频图像发送至所述图像拼接处理模块中处理，如果未对子相机的视频图像进行移动，则将初始全景视频图像发送至所述图像显示模块中显示；
所述图像拼接处理模块，用于根据子相机在视频图像中的移动量来确定全景视频图像的高度和宽度，并对重叠视频图像区域和非重叠视频图像区域的YUV颜色编码数据进行处理来实现图像拼接，并将处理后的全景视频图像发送至所述图像显示模块；
所述图像显示模块，用于显示初始全景视频图像或者显示经所述图像拼接处理模块处理后的全景视频图像。
本发明的有益效果是：通过本拼接系统及拼接方法直接对相邻的两个视频图像进行移动拼接融合，调节控制相邻的视频图像边界的重叠区域，对该重叠区域进行平滑融合处理，解决了若干个视频图像拼接成全景视频图像时视频显示的实时性差和稳定性不好的问题，并减少了摄像环境多变、需通过图像拼接算法进行拼接融合的复杂性等原因引起的视频拼接融合所需时间。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述图像拼接处理模块包括拼接单元、数据处理单元和存储单元；
所述拼接单元，用于获取初始全景视频图像的高度、单个子相机的视频图像的高度及宽度以及子相机在视频图像中垂直和水平方向上的移动量，根据子相机的视频图像的高度及宽度和移动量得到移动后的全景视频图像的高度和宽度，并根据移动后的全景视频图像确定各个子相机的起始位置点的坐标；
所述数据处理单元，用于获取移动后全景视频图像的全景YUV颜色编码数据以及重叠视频图像区域的YUV颜色编码数据，一并发送至存储单元，再 将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中，并根据各个子相机的起始位置点坐标将非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中，并将处理后的全景视频图像发送至所述图像显示模块中显示；
所述存储单元，用于存储全景YUV颜色编码数据和重叠视频图像区域的YUV颜色编码数据。
进一步，所述将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中的具体实现方法为，利用公式加权平滑：
Y＝Y1*(1-d)+Y2*d，
其中，Y1和Y2分别是相邻的子相机的视频图像YUV颜色编码数据的值，Y是求得重叠后视频图像YUV颜色编码数据的值，d为权值。
进一步，所述非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中的具体实现方法为，将非重叠视频图像区域的YUV颜色编码数据直接复制到全景YUV颜色编码数据中进行过渡处理。
本发明解决上述技术问题的另一技术方案如下：一种全景视频拼接方法，包括如下步骤：
步骤A：实时从全景摄像机上获取初始全景视频图像；
步骤B：根据需要决定是否对子相机的视频图像进行移动处理，如果移动某一子相机的视频图像，则继续对初始全景视频图像进行拼接处理，并执行步骤C，如果未对子相机的视频图像进行移动，则发送初始全景视频图像，并执行步骤D；
步骤C：根据子相机视频图像的移动量来确定全景视频图像的高度和宽度，并对重叠视频图像区域和非重叠视频图像区域的YUV颜色编码数据进行处理来实现图像拼接，并发送处理后的全景视频图像，并执行步骤E；
步骤D：显示初始全景视频图像；
步骤E：显示经过处理后的全景视频图像。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，步骤C图像拼接处理模块对全景视频图像进行处理的具体步骤为,
步骤C1：获取初始全景视频图像的高度、单个子相机的视频图像的高度及宽度以及子相机在视频图像中垂直和水平方向上的移动量；
步骤C2：根据子相机的视频图像的高度及宽度和子相机在视频图像中垂直和水平方向上的移动量得到移动后的全景视频图像的高度和宽度；
步骤C3：根据移动后的全景视频图像的高度和宽度确定各个子相机的起始位置点的坐标；
步骤C4：获取移动后全景视频图像的全景YUV颜色编码数据以及重叠视频图像区域的YUV颜色编码数据；
步骤C5：将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中；
步骤C6：根据步骤C3确定的各个子相机的起始位置点的坐标，将非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中，得到处理后的全景视频图像。
进一步，所述将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中的具体实现方法为，利用公式加权平滑：
Y＝Y1*(1-d)+Y2*d，
其中，Y1和Y2分别是相邻的子相机的视频图像YUV颜色编码数据的值，Y是求得重叠后视频图像YUV颜色编码数据的值，d为权值。
进一步，所述非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中的具体实现方法为，将非重叠视频图像区域的YUV颜色编码数据直接复制到全景YUV颜色编码数据中进行过渡处理。
附图说明
图1为本发明全景视频拼接系统的模块框图；
图2为本发明全景视频拼接方法实施例的方法流程图。
附图中，各标记所代表的部件名称如下：
1、视频获取模块，2、移动模块，3、图像拼接处理模块，4、图像显示模块，5、全景摄像机，301、拼接单元，302、数据处理单元，303、存储单元。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种全景视频拼接系统，包括设置在摄像区域内的全景摄像机5，所述全景摄像机5包括多个相互连接的子相机，还包括视频获取模块1、移动模块2、图像拼接处理模块3和图像显示模块4；
所述视频获取模块1，用于实时从全景摄像机5上获取初始全景视频图像；
所述移动模块2，用于根据需要决定是否对子相机的视频图像进行移动处理，如果移动某一子相机的视频图像，则将初始全景视频图像发送至所述图像拼接处理模块3中处理，如果未对子相机的视频图像进行移动，则将初始全景视频图像发送至所述图像显示模块4中显示；
所述图像拼接处理模块3，用于根据子相机在视频图像中的移动量来确定全景视频图像的高度和宽度，并对重叠视频图像区域和非重叠视频图像区域的YUV颜色编码数据进行处理来实现图像拼接，并将处理后的全景视频图像发送至所述图像显示模块4；
所述图像显示模块4，用于显示初始全景视频图像或者显示经所述图像拼接处理模块3处理后的全景视频图像。
所述图像拼接处理模块3包括拼接单元301、数据处理单元302和存储单元303；
所述拼接单元301，用于获取初始全景视频图像的高度、单个子相机的视频图像的高度及宽度以及子相机在视频图像中垂直和水平方向上的移动量，根据子相机的视频图像的高度及宽度和移动量得到移动后的全景视频图像的高度和宽度，并根据移动后的全景视频图像确定各个子相机的起始位置点的坐标；
所述数据处理单元302，用于获取移动后全景视频图像的全景YUV颜色编码数据以及重叠视频图像区域的YUV颜色编码数据，一并发送至存储单元303，再将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中，并根据各个子相机的起始位置点坐标将非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中，并将处理后的全景视频图像发送至所述图像显示模块4中显示；
所述存储单元303，用于存储全景YUV颜色编码数据和重叠视频图像区域的YUV颜色编码数据。
所述将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中的具体实现方法为，利用公式加权平滑：
Y＝Y1*(1-d)+Y2*d，
其中，Y1和Y2分别是相邻的子相机的视频图像YUV颜色编码数据的值，Y是求得重叠后视频图像YUV颜色编码数据的值，d为权值。
所述非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中的具体实现方法为，将非重叠视频图像区域的YUV颜色编码数据直接复制到全景YUV颜色编码数据中进行过渡处理。
如图2所示，一种全景视频拼接方法，包括如下步骤：
步骤S1：实时从全景摄像机上获取初始全景视频图像；
步骤S2：根据需要决定是否对子相机的视频图像进行移动处理，如果移动某一子相机的视频图像，则继续对初始全景视频图像进行拼接处理，并执行步骤S3，如果未对子相机的视频图像进行移动，则发送初始全景视频图像，并执行步骤S9；
步骤S3：获取初始全景视频图像的高度、单个子相机的视频图像的高度及宽度以及子相机在视频图像中垂直和水平方向上的移动量；
步骤S4：根据子相机的视频图像的高度及宽度和子相机在视频图像中垂直和水平方向上的移动量得到移动后的全景视频图像的高度和宽度；
步骤S5：根据移动后的全景视频图像的高度和宽度确定各个子相机的起始位置点的坐标；
步骤S6：获取移动后全景视频图像的全景YUV颜色编码数据以及重叠视频图像区域的YUV颜色编码数据；
步骤S7：将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中；
步骤S8：根据步骤S5确定的各个子相机的起始位置点的坐标，将非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中，得到处理后的全景视频图像，并发送处理后的全景视频图像，并执行步骤S10；
步骤S9：显示初始全景视频图像；
步骤S10：显示经过处理后的全景视频图像。
所述将重叠视频图像区域的YUV颜色编码数据平滑处理到全景YUV颜色编码数据中的具体实现方法为，利用公式加权平滑：
Y＝Y1*(1-d)+Y2*d，
其中，Y1和Y2分别是相邻的子相机的视频图像YUV颜色编码数据的值，Y是求得重叠后视频图像YUV颜色编码数据的值，d为权值。
所述非重叠视频图像区域的YUV颜色编码数据直接过渡到全景YUV颜色编码数据中的具体实现方法为，将非重叠视频图像区域的YUV颜色编码数据直接复制到全景YUV颜色编码数据中进行过渡处理。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。