基于云台摄像机的图像处理方法、设备及存储介质.pdf

《基于云台摄像机的图像处理方法、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《基于云台摄像机的图像处理方法、设备及存储介质.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010768149.X (22)申请日 2020.08.03 (71)申请人 海能达通信股份有限公司 地址 518057 广东省深圳市南山区高新区 北区北环路9108号海能达大厦 (72)发明人 薛尧舜洪家明 (74)专利代理机构 深圳市深佳知识产权代理事 务所(普通合伙) 44285 代理人 王兆林 (51)Int.Cl. H04N 5/232(2006.01) H04N 7/18(2006.01) (54)发明名称 基于云台摄像机的图像处理方法、 设备及存 储介质 (5。

2、7)摘要 本发明提供的基于云台摄像机的图像处理 方法、 设备及存储介质， 根据云台摄像机的云台 参数与摄像机参数， 预先确定云台摄像机的多个 拍摄姿态； 然后控制云台摄像机在多个拍摄姿态 下对应拍摄多张监控图像， 并记录多张监控图像 与多个拍摄姿态之间的关联关系， 最后基于多张 监控图像各自关联的拍摄姿态， 对多张监控图像 进行矫正与拼接， 而无需基于拍摄图像进行复杂 繁冗的姿态估计运算， 从而降低了图像矫正与拼 接过程的复杂度与运算量， 而且拍摄姿态是用于 指示云台摄像机配设监控图像的预设参数， 而并 非姿态估计运算的结果， 其准确性更有保障， 从 而提高了图像拼接的质量， 能够有效避免图像。

3、拼 接出错或失败的情况发生。 权利要求书2页 说明书11页 附图7页 CN 111787232 A 2020.10.16 CN 111787232 A 1.一种基于云台摄像机的图像处理方法， 其特征在于， 包括： 获取云台摄像机的云台参数与摄像机参数； 根据所述云台参数与所述摄像机参数， 确定所述云台摄像机的多个拍摄姿态， 所述多 个拍摄姿态用于指示所述云台摄像机拍摄监控图像； 控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像， 并记录所述多张 监控图像与所述多个拍摄姿态之间的关联关系； 根据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图像进行矫正与拼接， 得到全景图像。 2。

4、.如权利要求1所述的图像处理方法， 其特征在于， 所述根据所述云台参数与所述摄像 机参数， 确定所述云台摄像机的多个拍摄姿态包括： 根据所述云台参数与所述摄像机参数， 确定全景区域的面积以及能够覆盖所述全景区 域的监控图像的最少数目； 根据所述全景区域的面积与所述最少数目， 确定所述最少数目的监控图像各自对应的 全景区域中的局部区域； 根据所述最少数目的监控图像各自对应的全景区域中的局部区域， 确定所述云台摄像 机拍摄所述最少数目的监控图像所需要采用的姿态， 得到多个拍摄姿态。 3.如权利要求2所述的图像处理方法， 其特征在于， 所述云台摄像机的云台参数与摄像 机参数包括所述云台摄像机的PTZ。

5、参数； 所述根据所述云台参数与所述摄像机参数， 确定全 景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目包括： 根据所述云台摄像机的PTZ参数的取值范围， 计算全景区域的面积以及能够覆盖所述 全景区域的监控图像的最少数目。 4.如权利要求1所述的图像处理方法， 其特征在于， 在所述控制所述云台摄像机在所述 多个拍摄姿态下对应拍摄多张监控图像之前， 所述图像处理方法还包括： 记录所述云台摄像机的当前姿态， 作为初始姿态； 相应的， 在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像之 后， 所述图像处理方法还包括： 控制所述云台摄像机恢复至所述初始姿态。 5.如权利要求1所。

6、述的图像处理方法， 其特征在于， 所述根据所述多张监控图像各自关 联的拍摄姿态， 对所述多张监控图像进行矫正与拼接， 得到全景图像包括： 从所述多张监控图像中确定一张监控图像， 作为基准监控图像； 根据所述基准监控图像关联的拍摄姿态与其他监控图像各自关联的拍摄姿态， 确定所 述其他监控图像各自对应的矫正参数； 根据所述其他监控图像各自对应的矫正参数， 对所述其他监控图像进行矫正， 得到矫 正后监控图像； 将所述基准监控图像与所述矫正后监控图像进行拼接， 得到全景图像。 6.如权利要求1所述的图像处理方法， 其特征在于， 所述控制所述云台摄像机在所述多 个拍摄姿态下对应拍摄多张监控图像， 并记录。

7、所述多张监控图像与所述多个拍摄姿态之间 的关联关系包括： 控制所述云台摄像机在目标拍摄姿态下对应拍摄至少两张监控图像， 并记录所述至少 权利要求书 1/2 页 2 CN 111787232 A 2 两张监控图像与所述目标拍摄姿态之间的关联关系； 所述目标拍摄姿态为所述多个拍摄姿 态中的任一拍摄姿态； 相应的， 所述根据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图像进行 矫正与拼接， 得到全景图像包括： 根据预设选取规则， 从所述多个拍摄姿态各自关联的监控图像中， 选取出一张监控图 像； 根据选取出来的多张监控图像各自关联的拍摄姿态， 对所述选取出来的多张监控图像 进行矫正与拼接， 得。

8、到全景图像。 7.如权利要求1所述的图像处理方法， 其特征在于， 在所述根据所述多张监控图像各自 关联的拍摄姿态， 对所述多张监控图像进行矫正与拼接， 得到全景图像之后， 所述图像处理 方法还包括： 确定用户在所述全景图像中选取的目标位置； 根据所述目标位置， 确定目标位置所属监控图像关联的拍摄姿态， 以及， 所述目标位置 所属监控图像的中心位置与所述目标位置之间的位置关系； 根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系， 确定所述目标位置 对应的所述云台摄像机的姿态， 作为目标姿态， 所述目标姿态用于将所述云台摄像机的监 控区域的中心位置调整至所述目标位置。 8.如权利要求7所述。

9、的图像处理方法， 其特征在于， 当所述目标位置所属监控图像包括 第一监控图像与第二监控图像时， 所述根据所述目标位置， 确定目标位置所属监控图像关 联的拍摄姿态， 以及， 所述目标位置所属监控图像的中心位置与所述目标位置之间的位置 关系包括： 根据所述多张监控图像与所述多个拍摄姿态之间的关联关系， 确定所述第一监控图像 关联的第一拍摄姿态以及所述第二监控图像关联的第二拍摄姿态； 获取所述第一监控图像的中心位置与所述目标位置之间的第一位置关系， 以及所述第 二监控图像的中心位置与所述目标位置之间的第二位置关系； 相应的， 所述根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系， 确定 所述。

10、目标位置对应的所述云台摄像机的姿态， 作为目标姿态包括： 根据所述第一位置关系、 第二位置关系、 第一拍摄姿态与第二拍摄姿态， 获取所述目标 位置对应的所述云台摄像机的姿态， 作为目标姿态。 9.一种基于云台摄像机的图像处理设备， 其特征在于， 包括： 存储器与处理器； 所述存储器用于存储程序代码； 所述处理器用于调用所述存储器中存储的所述程序代码， 以执行如权利要求18中任 一项所述的基于云台摄像机的图像处理方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有程序代 码， 所述程序代码被调用时， 执行如权利要求18中任一项所述的基于云台摄像机的图像 处理方法。。

11、 权利要求书 2/2 页 3 CN 111787232 A 3 基于云台摄像机的图像处理方法、 设备及存储介质 技术领域 0001 本发明涉及图像处理技术领域， 更具体地说， 涉及基于云台摄像机的图像处理方 法、 设备及存储介质。 背景技术 0002 随着监控行业的发展， 在公共场所或者小区的监控中心可能需要人工临时处理一 些监控任务， 有些摄像机配备了云台， 相比固定摄像机， 通过云台控制其运动扩展了可观察 区域。 操作员会在操作界面设定一些控制监控摄像机运动的参数， 使得监控摄像机可以按 照指定模式扫描整个区域， 使用拼图算法根据采集的图像获得区域的全景图。 0003 现有的图像拼接更多是。

12、基于特征点匹配的技术， 对被拼接图像要求比较少， 对摄 像机的姿态也不做太多要求， 只要求被拼接的图像间有足够的特征点可以匹配。 现有图像 拼接的约束比较少， 适用范围更广， 但是在带云台的摄像机监控中， 拼接图像的生成缺少必 要控制， 而且摄像机姿态等先验信息的缺乏也会增加图像拼接的困难， 比如使用广泛适用 的图像拼接算法有运算量大， 拼接可能会出错或失败的情况。 0004 因此， 目前迫切需要一种基于云台摄像机的图像处理方案， 以降低图像拼接的复 杂度， 提高图像拼接质量。 发明内容 0005 有鉴于此， 本发明提供了一种基于云台摄像机的图像处理方法、 设备及存储介质， 以解决目前云台摄像。

13、机的图像拼接难度较大， 容易导致拼接出错或失败的技术问题。 0006 为实现上述目的， 本发明提供如下技术方案： 0007 一种基于云台摄像机的图像处理方法， 包括： 0008 获取云台摄像机的云台参数与摄像机参数； 0009 根据所述云台参数与所述摄像机参数， 确定所述云台摄像机的多个拍摄姿态， 所 述多个拍摄姿态用于指示所述云台摄像机拍摄监控图像， 以使所述云台摄像机拍摄最少数 目的监控图像来覆盖全景区域； 0010 控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图像， 并记录所述 多张监控图像与所述多个拍摄姿态之间的关联关系； 0011 根据所述多张监控图像各自关联的拍摄姿态， 。

14、对所述多张监控图像进行矫正与拼 接， 得到全景图像。 0012 优选的， 所述根据所述云台参数与所述摄像机参数， 确定所述云台摄像机的多个 拍摄姿态包括： 0013 根据所述云台参数与所述摄像机参数， 确定全景区域的面积以及能够覆盖所述全 景区域的监控图像的最少数目； 0014 根据所述全景区域的面积与所述最少数目， 确定所述最少数目的监控图像各自对 应的全景区域中的局部区域； 说明书 1/11 页 4 CN 111787232 A 4 0015 根据所述最少数目的监控图像各自对应的全景区域中的局部区域， 确定所述云台 摄像机拍摄所述最少数目的监控图像所需要采用的姿态， 得到多个拍摄姿态。 0。

15、016 优选的， 所述云台摄像机的云台参数与摄像机参数包括所述云台摄像机的PTZ参 数； 所述根据所述云台参数与所述摄像机参数， 确定全景区域的面积以及能够覆盖所述全 景区域的监控图像的最少数目包括： 0017 根据所述云台摄像机的PTZ参数的取值范围， 计算全景区域的面积以及能够覆盖 所述全景区域的监控图像的最少数目。 0018 优选的， 在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图 像之前， 所述图像处理方法还包括： 0019 记录所述云台摄像机的当前姿态， 作为初始姿态； 0020 相应的， 在所述控制所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图 像之后， 所述。

16、图像处理方法还包括： 0021 控制所述云台摄像机恢复至所述初始姿态。 0022 优选的， 所述根据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图像 进行矫正与拼接， 得到全景图像包括： 0023 从所述多张监控图像中确定一张监控图像， 作为基准监控图像； 0024 根据所述基准监控图像关联的拍摄姿态与其他监控图像各自关联的拍摄姿态， 确 定所述其他监控图像各自对应的矫正参数； 0025 根据所述其他监控图像各自对应的矫正参数， 对所述其他监控图像进行矫正， 得 到矫正后监控图像； 0026 将所述基准监控图像与所述矫正后监控图像进行拼接， 得到全景图像。 0027 优选的， 所述控制。

17、所述云台摄像机在所述多个拍摄姿态下对应拍摄多张监控图 像， 并记录所述多张监控图像与所述多个拍摄姿态之间的关联关系包括： 0028 控制所述云台摄像机在目标拍摄姿态下对应拍摄至少两张监控图像， 并记录所述 至少两张监控图像与所述目标拍摄姿态之间的关联关系； 所述目标拍摄姿态为所述多个拍 摄姿态中的任一拍摄姿态； 0029 相应的， 所述根据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图像 进行矫正与拼接， 得到全景图像包括： 0030 根据预设选取规则， 从所述多个拍摄姿态各自关联的监控图像中， 选取出一张监 控图像； 0031 根据选取出来的多张监控图像各自关联的拍摄姿态， 对所述选。

18、取出来的多张监控 图像进行矫正与拼接， 得到全景图像。 0032 优选的， 在所述根据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图 像进行矫正与拼接， 得到全景图像之后， 所述图像处理方法还包括： 0033 确定用户在所述全景图像中选取的目标位置； 0034 根据所述目标位置， 确定目标位置所属监控图像关联的拍摄姿态， 以及， 所述目标 位置所属监控图像的中心位置与所述目标位置之间的位置关系； 0035 根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系， 确定所述目标 位置对应的所述云台摄像机的姿态， 作为目标姿态， 所述目标姿态用于将所述云台摄像机 说明书 2/11 页 5。

19、 CN 111787232 A 5 的监控区域的中心位置调整至所述目标位置。 0036 优选的， 当所述目标位置所属监控图像包括第一监控图像与第二监控图像时， 所 述根据所述目标位置， 确定目标位置所属监控图像关联的拍摄姿态， 以及， 所述目标位置所 属监控图像的中心位置与所述目标位置之间的位置关系包括： 0037 根据所述多张监控图像与所述多个拍摄姿态之间的关联关系， 确定所述第一监控 图像关联的第一拍摄姿态以及所述第二监控图像关联的第二拍摄姿态； 0038 获取所述第一监控图像的中心位置与所述目标位置之间的第一位置关系， 以及所 述第二监控图像的中心位置与所述目标位置之间的第二位置关系； 。

20、0039 相应的， 所述根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系， 确定所述目标位置对应的所述云台摄像机的姿态， 作为目标姿态包括： 0040 根据所述第一位置关系、 第二位置关系、 第一拍摄姿态与第二拍摄姿态， 获取所述 目标位置对应的所述云台摄像机的姿态， 作为目标姿态。 0041 一种基于云台摄像机的图像处理设备， 包括： 存储器与处理器； 0042 所述存储器用于存储程序代码； 0043 所述处理器用于调用所述存储器中存储的所述程序代码， 以执行前述的基于云台 摄像机的图像处理方法。 0044 一种计算机可读存储介质， 所述计算机可读存储介质中存储有程序代码， 所述程 。

21、序代码被调用时， 执行前述的基于云台摄像机的图像处理方法。 0045 从本发明上述技术方案可以看出， 本发明提供的基于云台摄像机的图像处理方 案， 根据云台摄像机的云台参数与摄像机参数， 预先确定出云台摄像机的多个拍摄姿态； 然 后控制云台摄像机在多个拍摄姿态下对应拍摄多张监控图像， 并记录多张监控图像与多个 拍摄姿态之间的关联关系， 最后基于多张监控图像各自关联的拍摄姿态， 对多张监控图像 进行矫正与拼接， 而无需基于拍摄图像进行复杂繁冗的姿态估计运算， 从而降低了图像矫 正与拼接过程的复杂度与运算量， 而且拍摄姿态是用于指示云台摄像机配设监控图像的预 设参数， 而并非姿态估计运算的结果， 。

22、其准确性更有保障， 从而提高了图像拼接的质量， 能 够有效避免图像拼接出错或失败的情况发生。 附图说明 0046 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0047 图1为本发明实施例提供的基于云台摄像机的图像处理方法的流程图； 0048 图2为本发明实施例提供的云台摄像机的多个拍摄姿态的确定过程的流程图； 0049 图3为本发明实施例提供的基于监控图像拼接全景图像。

23、的示意图； 0050 图4为本发明实施例提供的监控图像的矫正与拼接过程的流程图； 0051 图5为本发明实施例提供的监控图像的矫正与拼接方式的示意图； 0052 图6为本发明实施例提供的基于全景图像的摄像机位置回溯过程的一种流程图； 0053 图7为本发明实施例提供的基于全景图像的摄像机位置回溯过程的另一种流程 说明书 3/11 页 6 CN 111787232 A 6 图； 0054 图8为本发明实施例提供的目标位置处于两张监控图像的一种示意图； 0055 图9为本发明实施例提供的目标位置处于两张监控图像的另一种示意图； 0056 图10为本发明实施例提供的基于云台摄像机的图像处理设备的硬件。

24、结构示意图。 具体实施方式 0057 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。 0058 本发明提供的基于云台摄像机的图像处理方案， 可用于任何具有云台控制的监控 场景。 0059 请参阅图1， 图1为本发明实施例提供的基于云台摄像机的图像处理方法的流程 图。 0060 如图1所示， 基于云台摄像机的图像处理方法可包括： 0061 S101： 获取云台摄像。

25、机的云台参数与摄像机参数。 0062 云台摄像机的云台参数与摄像机参数， 主要是指云台摄像机的PTZ(Pan/Tilt/ Zoom， 左右/上下/变焦)参数。 其中，“左右/上下” 参数PT属于云台参数， 也即云台摄像机的 外参；“变焦” 参数Z则属于摄像机参数， 也即云台摄像机的内参。 0063 S102： 根据所述云台参数与所述摄像机参数， 确定所述云台摄像机的多个拍摄姿 态。 0064 所述多个拍摄姿态用于指示所述云台摄像机拍摄监控图像， 以使所述云台摄像机 拍摄最少数目的监控图像来覆盖全景区域。 0065 在一示例中， 可以根据云台参数与摄像机参数， 先生成所述云台摄像机的运动路 径，。

26、 并使得所述运动路径中包括所述云台摄像机的多个拍摄姿态。 0066 例如， 根据云台摄像机的相关参数， 为云台摄像机规划运动路径， 使云台摄像机能 够最快地扫描整个全景区域， 并拍摄最少数目的监控图像， 通过以上控制过程来进行约束， 能够以更少的运算量拼接出全景图像。 0067 其中， 可采用所述云台摄像机的PTZ参数值来表征所述云台摄像机的姿态。 0068 基于云台摄像机的相关参数， 使与其相应的多个拍摄姿态成为已知参数， 还可以 设定云台摄像机在全景区域扫描期间摄像机内参不变(即Z不变)， 在对图像拼接操作施加 这些约束后， 能够使得运算量大幅降低。 0069 S103： 控制云台摄像机在。

27、多个拍摄姿态下对应拍摄多张监控图像， 并记录多张监 控图像与多个拍摄姿态之间的关联关系。 0070 在全景区域扫描过程中， 在每个拍摄姿态下均拍摄监控图像， 并记录拍下各监控 图像与各拍摄姿态之间的关联关系， 当然还可以对云台摄像机的运动信息进行记录， 例如， 云台摄像机变换姿态时的运动速度等。 其中， 在每个拍摄姿态下， 可以均拍摄一张监控图 像， 也可以均拍摄至少两张监控图像。 0071 云台摄像机中的PTZ参数中的变焦参数Z， 在设定好以后可以是固定不变的， 这样， 说明书 4/11 页 7 CN 111787232 A 7 在采用PTZ参数值来表征所述云台摄像机的姿态时， 主要是利用P。

28、TZ中的PT参数来表征， 而 将Z视为常量参数。 0072 在所述步骤S103之前， 还可包括： 记录所述云台摄像机的当前姿态， 作为初始姿 态。 0073 相应的， 在所述步骤S103之后， 还可包括： 控制所述云台摄像机恢复至所述初始姿 态。 0074 S104： 根据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图像进行矫 正与拼接， 得到全景图像。 0075 在一示例中， 步骤S103可包括： 控制所述云台摄像机在目标拍摄姿态下对应拍摄 至少两张监控图像， 并记录所述至少两张监控图像与所述目标拍摄姿态之间的关联关系； 所述目标拍摄姿态为所述多个拍摄姿态中的任一拍摄姿态。 0076。

29、 其中， 所述目标拍摄姿态为所述多个拍摄姿态中的任一拍摄姿态， 这意味着所述 云台摄像机在每一个拍摄姿态下都可以拍摄至少两张监控图像。 例如， 在具体应用中， 可以 控制云台摄像机在某一个拍摄姿态下拍摄至少两张监控图像， 也可以控制云台摄像机在多 个拍摄姿态下分别拍摄至少两张监控图像， 还可以控制云台摄像机在所有拍摄姿态中的每 一个拍摄姿态下都分别拍摄至少两张监控图像， 这里可以灵活设定。 0077 相应的， 步骤S104可包括： 根据预设选取规则， 从所述多个拍摄姿态各自关联的监 控图像中， 选取出一张监控图像； 根据选取出来的多张监控图像各自关联的拍摄姿态， 对所 述选取出来的多张监控图像。

30、进行矫正与拼接， 得到全景图像。 0078 其中， 预设选取规则包括： 选取清晰度大于预设清晰度阈值的监控图像、 选取画面 无抖动的监控图像、 选取对比度符合预设对比度要求的监控图像、 选取饱和度符合预设饱 和度要求的监控图像中的至少一项。 0079 在实际应用中， 云台摄像机在某一拍摄姿态拍摄监控图像时， 有可能会因外界其 他物体(如小鸟、 小猫、 掉落的树枝等)对其碰撞而发生抖动， 导致监控图像的画面产生抖动 效果， 也可能会因当时有乌云遮挡阳光导致光线不足、 画面暗淡， 还有可能会遇到很多不可 控的负面影响， 因此， 本示例中， 可以控制云台摄像机在一个拍摄姿态拍摄监控图像时， 可 以多。

31、拍几张监控图像， 以便从一个拍摄姿态对应的多张监控图像中选取出画面效果更好的 监控图像来进行图像拼接， 提升最终的全景图像的显示效果。 0080 一般的图像拼接方式， 通常并不会预先考虑云台摄像机的姿态信息， 而是直接将 摄像机随机拍摄或以红外感应触发方式拍摄到的杂乱无章的多张监控图像进行拼接， 但这 样会导致难以拼接出正常的全景图像； 还有一种方式是根据摄像机随机拍摄或以红外感应 触发方式拍摄的多张监控图像的内容， 来估计云台摄像机在拍摄这多张监控图像时所采用 的历史姿态， 然后根据估计得到的历史姿态来拼接图像， 但是姿态估计的运算量较大， 且姿 态估计的精度较差， 基于姿态估计及其估计结果。

32、来拼接全景图像， 不仅会增大图像拼接的 运算量， 而且还难以保证图像拼接的质量， 容易导致拼接出错。 0081 本发明在拍摄监控图像时， 通过直接从云台摄像机中读取的根据所述云台参数与 所述摄像机参数确定出来的拍摄姿态(例如PTZ参数)来进行拍摄， 并记录各监控图像与各 拍摄姿态之间的关联关系， 据此来对多张监控图像进行矫正与拼接， 从而省去了基于拍摄 到的监控图像的内容进行姿态估计所需的运算量， 降低图像拼接的复杂度与运算量， 而且 说明书 5/11 页 8 CN 111787232 A 8 保证了所使用拍摄姿态的精度， 提高了图像拼接质量， 得到高质量的全景图像。 其中， 本发 明中提及的。

33、全景图像是指覆盖云台摄像机所有监控可达区域的图像。 0082 本实施例提供的基于云台摄像机的图像处理方法， 根据云台摄像机的云台参数与 摄像机参数， 确定云台摄像机的多个拍摄姿态； 然后控制云台摄像机在多个拍摄姿态下对 应拍摄多张监控图像， 并记录多张监控图像与多个拍摄姿态之间的关联关系， 最后基于多 张监控图像各自关联的拍摄姿态， 对多张监控图像进行矫正与拼接， 而无需基于拍摄图像 进行复杂繁冗的姿态估计运算， 从而降低了图像矫正与拼接过程的复杂度与运算量， 而且 拍摄姿态是用于指示云台摄像机配设监控图像的预设参数， 而并非姿态估计运算的结果， 其准确性更有保障， 从而提高了图像拼接的质量，。

34、 能够有效避免图像拼接出错或失败的情 况发生。 0083 请参阅图2， 图2为本发明实施例提供的云台摄像机的多个拍摄姿态的确定过程的 流程图。 0084 本实施例的云台摄像机的多个拍摄姿态的确定过程， 可用于实现前述实施例中所 述根据所述云台参数与所述摄像机参数， 确定所述云台摄像机的多个拍摄姿态的步骤。 0085 如图2所示， 云台摄像机的多个拍摄姿态的确定过程可包括： 0086 S201： 根据所述云台参数与所述摄像机参数， 确定全景区域的面积以及能够覆盖 所述全景区域的监控图像的最少数目。 0087 在一示例中， 所述云台摄像机的云台参数与摄像机参数包括所述云台摄像机的 PTZ参数； 相。

35、应的， 该步骤S201具体可包括： 根据所述云台摄像机的PTZ参数的取值范围， 计 算全景区域的面积以及能够覆盖所述全景区域的监控图像的最少数目。 0088 在云台摄像机的内参保持不变的情况下， 可以根据云台摄像机的云台运动范围设 定相应的监控图像的拍摄数目， 从而可利用最少数目的监控图像来完成最大范围全景图的 绘制。 0089 拼接算法通常需要在相邻图像之间具有一定的重复区域来对齐， 那么云台摄像机 从拍摄当前监控图像到拍摄下一个监控图像之间的转角就必须不能大于一定角度， 否则， 两张监控图像中没有任何重叠的部分， 也就无法进行图像拼接了。 0090 通过控制云台摄像机的PTZ中的Pan平转。

36、和Tilt俯仰， 并通过拼接算法要求的最小 重叠量， 可以分析出最少需要拍摄多少张监控图像才能覆盖整个全景区域。 0091 S202： 根据所述全景区域的面积与所述最少数目， 确定所述最少数目的监控图像 各自对应的全景区域中的局部区域。 0092 根据所述全景区域的面积与所述最少数目， 对全景区域进行分割， 就可以得到所 述最少数目的监控图像各自对应的全景区域中的局部区域。 其中， 在区域分割时， 也需要综 合考虑上述的最小重叠量， 以保证图像之间的准确拼接。 0093 S203： 根据所述最少数目的监控图像各自对应的全景区域中的局部区域， 确定所 述云台摄像机拍摄所述最少数目的监控图像所需要。

37、采用的姿态， 得到多个拍摄姿态。 0094 所有这些需要拍摄的监控图像中， 每一张都对应着云台摄像机的一个姿态， 作为 拍摄姿态， 通过控制云台摄像机的PTZ参数使云台摄像机运动到这些姿态， 然后拍摄相应的 监控图像。 0095 在其他示例中， 也可以采用其他方式来确定云台摄像机的多个拍摄姿态， 例如： 根 说明书 6/11 页 9 CN 111787232 A 9 据所述云台参数与所述摄像机参数， 确定全景区域的角度范围以及能够覆盖所述全景区域 的监控图像的最少数目； 根据所述全景区域的角度范围与所述最少数目， 确定所述最少数 目的监控图像各自对应的全景区域中的局部区域； 根据所述最少数目的。

38、监控图像各自对应 的全景区域中的局部区域， 确定所述云台摄像机拍摄所述最少数目的监控图像所需要采用 的姿态， 得到多个拍摄姿态。 其中， 全景区域的角度范围是指云台摄像机拍摄全景区域时所 采用的拍摄角度的范围， 监控图像所需要采用的姿态也可以参考拍摄监控图像时所采用的 角度来确定。 0096 关于拼接全景图像所需的监控图像的获取， 可如图3所示， 首先由操作员选择某个 云台摄像机， 比如选择云台摄像机A， 然后本发明根据云台摄像机A的PTZ参数， 确定能够覆 盖其全景区域的监控图像的最少数目为9， 即仅需拍摄9张监控图像便可覆盖云台摄像机A 可达的全景区域， 同时记录拍摄监控图像19分别所需的。

39、云台摄像机A的姿态， 进而得到相 应的9个拍摄姿态。 0097 图3中B、 C、 D表示其他可选的云台摄像机； 监控图像四周的实线表示单张监控图像 在拼接后的最终边界； 虚线表示两张监控图像之间的重叠部分， 拼接算法会使用该部分重 叠。 0098 本实施例提供的云台摄像机的多个拍摄姿态的确定过程， 根据所述云台参数与所 述摄像机参数， 确定全景区域的面积以及能够覆盖全景区域的监控图像的最少数目； 根据 所述全景区域的面积与所述最少数目， 确定所述最少数目的监控图像各自对应的全景区域 中的局部区域； 根据所述最少数目的监控图像各自对应的全景区域中的局部区域， 确定所 述云台摄像机拍摄所述最少数目。

40、的监控图像所需要采用的姿态， 得到多个拍摄姿态， 从而 能够以最快速度最少图像拍摄到能够覆盖全景区域的监控图像， 不仅提高了全景图像的拼 接效率， 而且降低了全景图像的拼接运算量。 0099 请参阅图4， 图4为本发明实施例提供的监控图像的矫正与拼接过程的流程图。 0100 本实施例提供的监控图像的矫正与拼接过程， 可用于实现前述实施例中的所述根 据所述多张监控图像各自关联的拍摄姿态， 对所述多张监控图像进行矫正与拼接， 得到全 景图像的步骤。 0101 如图4所示， 监控图像的矫正与拼接过程可包括： 0102 S301： 从所述多张监控图像中确定一张监控图像， 作为基准监控图像。 0103 。

41、S302： 根据所述基准监控图像关联的拍摄姿态与其他监控图像各自关联的拍摄姿 态， 确定所述其他监控图像各自对应的矫正参数。 0104 其中， 矫正参数可以包括监控图像的旋转角度、 倾斜角度， 也可以包括其他图像变 换参数。 0105 S303： 根据所述其他监控图像各自对应的矫正参数， 对所述其他监控图像进行矫 正， 得到矫正后监控图像。 0106 S304： 将所述基准监控图像与所述矫正后监控图像进行拼接， 得到全景图像。 0107 例如， 监控图像有9幅， 编号为1 9 ， 选取其中编号为5 的监控图像为基准图像， 编号为4 、 5 、 6 的三幅监控图像最终要拼接到与编号为5 的监控图。

42、像平行的平面内。 如图 5所示， 监控图像4由监控图像4 逆时针旋转一定角度得到， 监控图像6由监控图像6 顺时针 旋转一定角度得到， 监控图像5直接采用监控图像5 即可， 而不需要做任何旋转处理。 其中， 说明书 7/11 页 10 CN 111787232 A 10 数字 表示拼接前拍摄到的监控图像， 数字表示拼接后的监控图像。 0108 在其他示例中， 也可以采用其他方式来实现监控图像的矫正与拼接， 例如： 预先选 定一个基准拍摄姿态， 然后根据所述基准拍摄姿态以及所述多张监控图像各自关联的拍摄 姿态， 确定所述多张监控图像各自对应的矫正参数； 根据所述多张监控图像各自对应的矫 正参数，。

43、 对所述多张监控图像进行矫正， 得到矫正后监控图像； 将所述矫正后监控图像进行 拼接， 得到全景图像。 0109 本实施例提供的监控图像的矫正与拼接过程， 基于各个监控图像对应的拍摄姿 态， 对各个监控图像进行矫正与拼接， 而无需针对各个监控图像执行大量的姿态估计运算， 节省了运算量， 而且拍摄姿态是预先设定的， 相较于姿态估计结果， 具有更高的准确性， 从 而降低了全景图像的拼接运算量， 也提高了全景图像拼接的精度， 提高了全景图像的拼接 质量。 0110 本发明在为云台摄像机提供了可达范围的全景图像之后， 还可以根据全景图像上 的选点， 将云台摄像机恢复到该选点对应的姿态， 能够提高对用户。

44、兴趣点区域进行监控的 便利性。 例如， 根据操作员的点击操作， 通过插值操作逆向计算出该点对应的摄像机姿态参 数， 控制云台摄像机运动到使得该点成为最合适观察点的位置， 并放大该点， 以便操作员观 察细节。 0111 现有技术对于云台摄像机历史图像的姿态估计， 一般是隐含在拼接算法运算过程 中的， 而不是去查询云台摄像机当时的姿态， 而且云台摄像机也并未保存可供查询的姿态 信息， 但是这样估计出来的云台摄像机当前的姿态就会存在严重的精度偏低的问题。 0112 因此， 本发明还提供了一种基于全景图像的摄像机位置回溯的方法， 该方法也属 于基于云台摄像机的图像处理方法的一部分。 例如， 在监控图像。

45、采集期间， 每张监控图像关 联存储一些云台摄像机的外部参数， 比如PT参数(即PTZ中的PT)， 则在后期从全景图像中选 点的时候就可以通过在参数间进行插值计算， 以快速地获得相应的参数， 从而能够避免计 算机视觉中运算量巨大、 精度较低的姿态估计处理。 0113 请参阅图6， 图6为本发明实施例提供的基于全景图像的摄像机位置回溯过程的一 种流程图。 0114 本实施例提供的基于全景图像的摄像机位置回溯过程， 可在前述实施例得到全景 图像之后执行。 0115 如图6所示， 基于全景图像的摄像机位置回溯过程包括： 0116 S401： 确定用户在所述全景图像中选取的目标位置。 0117 S402。

46、： 根据所述目标位置， 确定所述目标位置所属监控图像关联的拍摄姿态， 以 及， 所述目标位置所属监控图像的中心位置与所述目标位置之间的位置关系； 0118 其中， 步骤S402可包括： 从所述多张监控图像中， 确定所述目标位置所属监控图 像； 根据所述多张监控图像与所述多个拍摄姿态之间的关联关系， 获取所述目标位置所属 监控图像关联的拍摄姿态； 获取所述目标位置所属监控图像的中心位置与所述目标位置之 间的位置关系。 0119 S403： 根据所述目标位置所属监控图像关联的拍摄姿态与所述位置关系， 确定所 述目标位置对应的所述云台摄像机的姿态， 作为目标姿态。 0120 所述目标姿态用于将所述云。

47、台摄像机的监控区域的中心位置调整至所述目标位 说明书 8/11 页 11 CN 111787232 A 11 置。 0121 全景图像上的任意一点(即目标位置)都可以推算到一个姿态(即目标姿态)。 当然 这个点不一定是当时构成全景图像的单张监控图像的中心点(即中心位置)， 但是， 可以通 过插值计算得出这个点对应的目标姿态。 0122 在步骤S403之后， 还可包括： 将所述云台摄像机调整至所述目标姿态， 以使所述目 标位置成为所述云台摄像机的当前监控区域的中心位置。 0123 假设用户选择的点落在了所属图像的中心点偏右， 则可以根据偏右的距离和当时 的焦距计算出从当时的摄像机姿态向右转多少可。

48、以把该点放到监控区域的中心位置。 0124 本实施例提供的基于全景图像的摄像机位置回溯过程， 将全景图像作为类似导航 的图像， 可以通过用户在全景图像上的点击操作快速控制云台摄像机姿态回溯， 来使云台 摄像机对准用户感兴趣区域， 以便于用户进一步观察该区域。 0125 其中， 目标位置可属于一张监控图像， 也可以属于两张以上的监控图像， 例如， 目 标位置落在多张监控图像的重叠区域。 对此， 本发明还提供了基于全景图像的摄像机位置 回溯过程的另一种方案。 0126 请参阅图7， 图7为本发明实施例提供的基于全景图像的摄像机位置回溯过程的另 一种流程图。 0127 本实施例的基于全景图像的摄像机。

49、位置回溯过程， 可在前述实施例中得到全景图 像之后执行， 并针对于当所述目标位置所属监控图像包括第一监控图像与第二监控图像时 的情况。 0128 如图7所示， 基于全景图像的摄像机位置回溯过程包括： 0129 S501： 确定用户在所述全景图像中选取的目标位置。 0130 S502： 从所述多张监控图像中， 确定所述目标位置所属监控图像。 0131 当所述目标位置所属监控图像包括第一监控图像与第二监控图像时。 0132 S503： 根据多张监控图像与多个拍摄姿态之间的关联关系， 确定第一监控图像关 联的第一拍摄姿态以及第二监控图像关联的第二拍摄姿态。 0133 S504： 获取第一监控图像的中。

50、心位置与目标位置之间的第一位置关系， 以及第二 监控图像的中心位置与目标位置之间的第二位置关系。 0134 S505： 根据所述第一位置关系、 第二位置关系、 第一拍摄姿态与第二拍摄姿态， 获 取所述目标位置对应的所述云台摄像机的姿态， 作为目标姿态。 0135 S506： 将所述云台摄像机调整至所述目标姿态， 以使所述目标位置成为所述云台 摄像机的当前监控区域的中心位置。 0136 当用户选择感兴趣的点后， 如图8中的N点， O为云台摄像机的位置， 该N点落在监控 图像5与监控图像6的重叠区域， 即N点既属于监控图像5也属于监控图像6， 则分别计算N点 在监控图像5 与监控图像6 上对应的位。