车载环视图像的自动拼接方法.pdf

《车载环视图像的自动拼接方法.pdf》由会员分享，可在线阅读，更多相关《车载环视图像的自动拼接方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010411116.X (22)申请日 2020.05.15 (71)申请人 上海赫千电子科技有限公司 地址 200125 上海市浦东新区东三里桥路 1018号A座403室 (72)发明人 肖文平石川 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/80(2017.01) G06F 17/11(2006.01) (54)发明名称 一种车载环视图像的自动拼接方法 (57)摘要 本发明提供一种车载环视图像的自动拼接 方法， 包括： 通过利用相机对道路。

2、的标志物进行 拍摄并获取标志物图像的特征点的二维和三维 坐标作为校正特征点集， 若相机安装位置发生变 化， 通过建立相机的观测方程与相机真实位置的 误差目标函数， 在给定初始点和迭代方向后， 根 据目标函数寻找满足误差函数最小值的解， 获取 相机的外参， 在通过反投影方式实现图像拼接的 自动调整。 相比于传统需要设定棋盘格和特定场 地来完成环视相机的标定的方式， 本发明无须特 定场地即可自动完成相机的标定工作， 解决目前 车载环视系统中相机由于振动或者安装位置变 化需要返厂进行标定的问题并且能够获得较高 的精度。 权利要求书2页 说明书8页 附图1页 CN 111640062 A 2020.0。

3、9.08 CN 111640062 A 1.一种车载环视图像的自动拼接方法， 其特征在于， 包括： 步骤S1， 通过安装在车上的多个相机对道路的标志物进行拍摄并获取标志物图像， 同 时记录相机拍摄的位置作为第一预设位置， 并将标志物图像中的预设特征点的二维像素坐 标转化为世界坐标的三维坐标； 步骤S2， 对相机的安装位置进行判断， 若相机安装位置发生变化， 启动相机外参校正方 法对外参进行校正， 获取变化后相机的外参； 步骤S3， 根据相机的外参对多个相机拍摄的图像进行相互匹配后拼接融合， 实现图像 拼接的自动调整。 2.如权利要求1所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步。

4、骤S1 中， 还包括对获取的图像进行畸变校正。 3.如权利要求1所述的一种车载环视图像的自动拼接方法， 其特征在于， 步骤S1还包 括： 获取多个标志物图像的特征点， 分别利用每个相机对应的初始外参， 将标志物图像的特 征点的二维像素点的坐标转化为世界坐标系的坐标并进行存储； 所述标志物包括路标、 车道线的角点、 红绿灯、 指示标记、 标记的交叉点中的一种或多 种； 所述图像中的预设特征点从标志物图像进行选取。 4.如权利要求1所述的一种车载环视图像的自动拼接方法， 其特征在于， 第一预设位置 是数据集， 用于记录相机拍摄标志物的位置信息， 车辆前进过程中， 若搜寻到标记物， 相机 会自动拍摄。

5、， 记录每个相机拍摄标志物图像的位置信息并组成数据集。 5.如权利要求1所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步骤S1 中， 图像中预设特征点的二维像素坐标转化为世界坐标系的三维坐标具体包括： 根据针孔 相机模型的成像原理， 相机拍摄的图像点与镜头中心和物理具有三点共性特性， 利用每个 相机的内参和初始外参将图像中预设特征点的像素坐标转化为世界坐标系的三维坐标并 进行保存。 6.如权利要求1所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步骤S2， 外参的校正方法具体包括以下步骤： S21， 获取位置改变的相机在第一预设位置拍摄的标志物图像， 并从标志物图像获取预。

6、 设特征点对应的二维坐标； S22， 根据预设特征点， 利用相机内参对预设特征点进行使用观测方程进行三维重建； S23， 根据观测方程， 建立误差方程的目标函数， 求解目标函数的最小值， 获取目标函数 处于最小值的条件下相机外参R， t。 7.如权利要求6所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步骤S22 具体包括： 建立相机与目标的观测方程， 观测方程如下： zK(RX+t) xkR， t表示相机的位置， 其中， R， t分别表示相机的旋转矩阵和偏移矩阵t,Xx,y, zT表示相机观测到的三维空间目标点的坐标， zu,vT为通过相机观测到空间点的映射 到相机的图像坐标,K为。

7、相机的内参。 8.如权利要求7所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步骤S23 具体包括： 权利要求书 1/2 页 2 CN 111640062 A 2 步骤S231， 根据观测方程， 建立误差方程； 误差方程表示为： ek(xk)(zk-K(RX+t) 上式中， xk表示相机的位置， zk表示在该相机xk位置下的观察数据， ek(xk)表示误差函 数， 其作为优化变量xk和zk符合程度的一个度量； 步骤S232， 根据误差方程， 建立目标函数， F(xk)ek(xk)Tkek(xk)(zk-K(RX+t)Tk(zk-K(RX+t) 信息矩阵k表示协方差矩阵， 是一个对称矩。

8、阵， 它是每个元素ij作为ei， ej的系数。 9.如权利要求8所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步骤S23 具体还包括： 步骤S233， 对目标函数进行优化， 求解目标函数的极小值， 从而获取相机的R， t， 具体包 括： 假设初始点为并且给它一个增量x， 目标函数变为：误差值则从 变为通过求解 其中CkekTkek， bkekTkJkHkJkTkJk， Jk是ek关于xk的导数,每一步迭代中都会计算矩阵Jk,Ck为常数项； 当xk发生增量后， 目标函数Fk项改变量即为： Fk2bkx+xTHkx 为了求解x， 使得为极小值， 从而获得方程组： Hkx-bk 通过求解。

9、方程组可以得到x的的解， 在每步迭代过程中寻求最优的从而获 取相机R， t。 10.如权利要求1所述的一种车载环视图像的自动拼接方法， 其特征在于， 所述步骤S3 包括： 根据每个相机的外参和内参， 计算3D环视中的三维模型的世界坐标系中三维点反投 影到相机上对应二维图像上点的坐标， 获取拼接所用的二维坐标数据， 然后将二维坐标数 据进行保存。 11.如权利要求10所述的一种车载环视图像的自动拼接方法， 其特征在于， 当进行环视 拼接时， 将所述二维坐标数据载入后实施获取图像信息完成环视拼接。 权利要求书 2/2 页 3 CN 111640062 A 3 一种车载环视图像的自动拼接方法 技术领。

10、域 0001 本发明涉及汽车领域， 尤其涉及一种车载环视图像的自动拼接方法。 背景技术 0002 随着汽车的普及， 越来越多的汽车进入千家万户， 人民生活消费水平的不断提高， 汽车的数量也不断的增多， 大家对车内电器的智能化要求越来越高， 智能汽车中ADAS、 车载 360全景影像都成为高配车型的重要配置。 车载3D环视系统利用安装在车辆四周的广角摄 像头重构车辆以及周围场景， 生成车载环视全景图像。 驾驶员可以通过观察全景图像安全 泊车、 避开障碍物和消除视觉盲区， 达到安全行车的目的。 车载环视系统的概念由k.kato等 人于2006年首先提出。 之后， 各种主动安全技术如行车线检测、 停。

11、车位检测跟踪和辅助泊 车、 运动物体检测被应用在车载环视系统上。 Byeongchaen Jeon等人于2015年提出了高分 辨率全景环视系统的解决方案。 这些方案的特点都是使用多路相机来完成实际场景的建 模， 产生包括2D和伪3D的视觉效果。 车载环视图像的整个技术路线主要包括了前期的相机 和场景的标定， 后期环视拼接效果的显示。 其中前期的标定结果影响后期的拼接效果， 因此 如何高效、 精准的标定环视成为各大供应商考虑的重中之重。 目前的标定方案都是采用特 定的标定场地来完成环视相机的标定和统一， 对于前期生产线为了得到一个好的拼接效果 必须使用这种方法， 但是如果客户在使用过程中出现相机。

12、松动、 或者损坏需要更换相机， 一 般4S店没有专门的标定场地来完成跟换之后的再次标定， 如果返厂耗时耗力， 如果不标定 又会影响整个环视的体验。 因此如何解决环视系统售后标定的问题成为后期产品保障的关 键， 鉴于现有技术存在缺陷， 需要提供一种解决该缺陷的技术方案。 发明内容 0003 针对传统环视售后标定拼接的问题， 基于现有技术中存在的缺陷， 本发明提供一 种能够对相机进行自动标定后进行环视拼接的方法， 具体包括： 0004 步骤S1， 通过安装在车上的多个相机对道路的标志物进行拍摄并获取标志物图 像， 同时记录相机拍摄的位置作为第一预设位置， 并将标志物图像中的预设特征点的二维 像素坐。

13、标转化为世界坐标的三维坐标； 0005 步骤S2， 对相机的安装位置进行判断， 若相机安装位置发生变化， 启动相机外参校 正方法对外参进行校正， 获取变化后相机的外参； 0006 步骤S3， 根据相机的外参对多个相机拍摄的图像进行相互匹配后拼接融合， 实现 图像拼接的自动调整。 0007 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S1中， 还包括对获取的图 像进行畸变校正。 0008 一种车载环视图像的自动拼接方法， 进一步地， 步骤S1还包括： 获取多个标志物图 像的特征点， 分别利用每个相机对应的初始外参， 将标志物图像的特征点的二维像素点的 坐标转化为世界坐标系的坐标并进行存。

14、储； 说明书 1/8 页 4 CN 111640062 A 4 0009 所述标志物包括路标、 车道线的角点、 红绿灯、 指示标记、 标记的交叉点中的一种 或多种； 所述图像中的预设特征点从标志物图像进行选取。 0010 一种车载环视图像的自动拼接方法， 进一步地， 第一预设位置是数据集， 用于记录 相机拍摄标志物的位置信息， 车辆前进过程中， 若搜寻到标记物， 相机会自动拍摄， 记录每 个相机拍摄标志物图像的位置信息并组成数据集。 0011 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S1中， 图像中预设特征点 的二维像素坐标转化为世界坐标系的三维坐标具体包括： 根据针孔相机模型的。

15、成像原理， 相机拍摄的图像点与镜头中心和物理具有三点共性特性， 利用每个相机的内参和初始外参 将图像中预设特征点的像素坐标转化为世界坐标系的三维坐标并进行保存。 0012 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S2， 外参的校正方法具体 包括以下步骤： 0013 S21， 获取位置改变的相机在第一预设位置拍摄的标志物图像， 并从标志物图像获 取预设特征点对应的二维坐标； 0014 S22， 根据预设特征点， 利用相机内参对预设特征点进行使用观测方程进行三维重 建； 0015 S23， 根据观测方程， 建立误差方程的目标函数， 求解目标函数的最小值， 获取目标 函数处于最小值的条。

16、件下相机外参R， t。 0016 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S22具体包括： 0017 建立相机与目标的观测方程， 观测方程如下： 0018 zK(RX+t) 0019 xkR， t表示相机的位置， 其中， R， t分别表示相机的旋转矩阵和偏移矩阵t,X x,y,zT表示相机观测到的三维空间目标点的坐标， zu,vT为通过相机观测到空间点的 映射到相机的图像坐标,K为相机的内参； 0020 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S23具体包括： 0021 步骤S231， 根据观测方程， 建立误差方程； 0022 误差方程表示为： ek(xk)(zk-。

17、K(RX+t) 0023 上式中， xk表示相机的位置， zk表示在该相机xk位置下的观察数据， ek(xk)表示误差 函数， 其作为优化变量xk和zk符合程度的一个度量； 0024 步骤S232， 根据误差方程， 建立目标函数， 0025 F(xk)ek(xk)Tkek(xk)(zk-K(RX+t)Tk(zk-K(RX+t) 0026 信息矩阵k表示协方差矩阵， 是一个对称矩阵， 它是每个元素ij作为ei， ej的系 数。 0027 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S23具体还包括： 0028 步骤S233， 对目标函数进行优化， 求解目标函数的极小值， 从而获取相机的。

18、R， t， 具 体包括： 0029假设初始点为并且给它一个增量x， 目标函数变为：误差值 则从变为通过求解 0030 说明书 2/8 页 5 CN 111640062 A 5 0031其中CkekTkek， bkekTkJkHkJkTkJk， 0032 Jk是ek关于xk的导数,每一步迭代中都会计算矩阵Jk,Ck为常数项； 0033 当xk发生增量后， 目标函数Fk项改变量即为： 0034 Fk2bkx+xTHkx (8) 0035为了求解x， 使得为极小值， 从而获得方程： 0036 Hkx-bk (10) 0037 通过求解方程组(10)可以得到x的的解， 在每步迭代过程中寻求最优的x从而。

19、 获取相机R， t。 0038 一种车载环视图像的自动拼接方法， 进一步地， 所述步骤S3包括： 根据每个相机的 外参和内参， 计算3D环视中的三维模型的世界坐标系中三维点反投影到相机上对应二维图 像上点的坐标， 获取拼接所用的二维坐标数据， 然后将二维坐标数据进行保存。 0039 一种车载环视图像的自动拼接方法， 进一步地， 当进行环视拼接时， 将所述二维坐 标数据载入后实施获取图像信息完成环视拼接。 0040 有益效果： 0041 1.本发明基于构建相机的观测方程， 通过建立相机的观测方程与相机真实位置的 误差目标函数， 在给定初始点和迭代方向后， 在给定的误差范围内， 系统能够根据目标函。

20、数 寻找满足误差函数最小值的解， 通过求解该方程， 获取相机的R,t。 相比于传统需要设定棋 盘格和特定场地来完成环视相机的标定的方式， 本发明无须特定场地即可自动完成相机的 标定工作， 解决目前车载环视系统中相机由于振动或者安装位置变化需要需要返厂进行标 定的问题。 0042 2.本发明的技术方案中， 由于特点的采集是自动完成， 其数据量不受限制， 还能将 数据集分成训练集和测试集， 通过交叉验证的方式更进一步提高精度， 降低误差。 附图说明 0043 以下附图仅对本发明做示意性说明和解释， 并不限定本发明的范围。 0044 图1为本发明一实施例中车载环视图像的自动拼接方法的流程示意图。 具。

21、体实施方式 0045 为了对本文的技术特征、 目的和效果有更加清楚的理解， 现对照附图说明本发明 的具体实施方式， 在各图中相同的标号表示相同的部分。 为使图面简洁， 各图中的示意性地 表示出了与本发明相关部分， 而并不代表其作为产品的实际结构。 另外， 为使图面简洁便于 理解， 在有些图中具有相同结构或功能的部件， 仅示意性地绘示了其中的一个， 或仅标出了 其中的一个。 0046 关于控制系统， 功能模块、 应用程序(APP)本领域技术人员熟知的是， 其可以采用 任何适当的形式， 既可以是硬件也可以是软件， 既可以是离散设置的多个功能模块， 也可以 是集成到一个硬件上的多个功能单元。 作为最。

22、简单的形式， 所述控制系统可以是控制器， 例 如组合逻辑控制器、 微程序控制器等， 只要能够实现本申请描述的操作即可。 当然， 控制系 说明书 3/8 页 6 CN 111640062 A 6 统也可以作为不同的模块集成到一个物理设备上， 这些都不偏离本发明的基本原理和保护 范围。 0047 本发明中 “连接” ， 即可包括直接连接、 也可以包括间接连接、 通信连接、 电连接， 特 别说明除外。 0048 本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。 如 本文中所使用地， 单数形式 “一个” 、“一种” 、 以及 “该” 旨在也包括复数形式， 除非上下文明 确地另作规定。

23、。 还将理解的是， 当在说明书中使用时， 术语 “包括” 和/或 “包含” 是指存在有 所陈述的特征、 数值、 步骤、 操作、 元件和/或组分， 但是并不排除存在有或额外增加一个或 多个其它的特征、 数值、 步骤、 操作、 元件、 组分和/或其组成的群组。 作为在本文中所使用 的， 术语 “和/或” 包括列举的相关项的一个或多个的任何和全部的组合 0049 应当理解， 此处所使用的术语 “车辆” 或 “车辆的” 或其它类似术语一般包括机动车 辆， 例如包括运动型多用途车辆(SUV)、 公共汽车、 卡车、 各种商用车辆的乘用汽车， 包括各 种舟艇、 船舶的船只， 航空器等等， 并且包括混合动力车。

24、辆、 电动车辆、 可插式混合动力电动 车辆、 氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。 正如此处所 提到的， 混合动力车辆是具有两种或更多动力源的车辆， 例如汽油动力和电力动力两者的 车辆。 0050 一种车载环视图像的自动拼接方法， 具体参见图1， 包括以下步骤： 0051 步骤S1， 通过安装在车上的多个相机对道路的标志物进行拍照并获取图像， 同时 在高精度地图记录拍照的位置作为第一预设位置， 并将图像中预设特征点的二维像素坐标 转化为世界坐标的三维坐标； 0052 需要说明的是， 第一预设位置是数据集， 用于记录相机在拍摄标志物的位置信息， 车辆前进过程中， 若搜。

25、寻到标记物， 相机会自动拍摄， 此时， 记录每个相机拍摄图像的位置 信息并组成数据集， 即第一预设位置； 0053 道路位置的定位可以通过获取道路的高精度地图， 然后实车行驶时通过高精度进 行定位第一预设位置， 在第一预设位置的点进行拍照； 或者通过设置定位标志物， 如果通知 设计定位标签或者在路面设计定标志等 0054 步骤S2， 对相机位置进行判断， 若相机安装位置发生改变， 启动相机外参校正方 法， 获取相机的外参； 0055 步骤S3， 根据相机的外参对多个相机拍摄的图像进行相互匹配后拼接融合， 实现 图像拼接的自动调整。 0056 在步骤S1中， 具体包括对获取的图像进行畸变校正， 。

26、相机采用鱼眼相机。 0057 畸变校正包括径向畸变校正和切向校正， 通过畸变校正， 能够还原真实的图像， 避 免鱼眼相机获取的图像被扭曲； 0058 所述标志物包括路标、 车道线的角点、 红绿灯、 指示标记等具有显著区别特征的物 体， 其有助于在拍摄的二维图像中找到该标志物， 从标志物中选取点作为特征点； 0059 所述图像中预设特征点从标志物图像进行选取， 例如可以选择车道标线的角点、 指示标识的箭头、 红绿灯、 电线杆的抹点。 预设特征点的选取以显著性为原则， 在标志物的 图像中能够与其它点容易区别。 0060 所述步骤S1， 获取多个标志物的特征点图片， 分别利用每个相机对应的初始外参，。

27、 说明书 4/8 页 7 CN 111640062 A 7 将图像的特征点的二维像素点的坐标转化为世界坐标系的坐标并进行存储； 0061 所述步骤S1中， 图像中预设特征点的二维像素坐标转化为世界坐标系的三维坐标 具体包括： 0062 根据针孔相机模型的成像原理， 相机拍摄的图像点与镜头中心和物理具有三点共 性特性， 根据每个相机的内参和初始外参将图像中预设特征点的像素坐标转化为世界坐标 系的三维坐标并进行保存； 0063 具体地， 需要说明的是， 在车内进行环视拼接时， 汽车厂商已经进行标定获取相机 的内参和外参， 相机的内参是保持不变， 而相机外参随着相机交底或安装位置发生改变， 本 发明。

28、解决的技术问题在于如何快方便的求解相机位置发生变动后的外参。 0064 第一预设位置在高精度地图上进行标记， 当相机的安装位置发生变动时， 相机外 参会发生改变， 需要对外参进行校正时， 其拍摄标志物的图像所处于位置在第一预设位置。 0065 具体地， 相机安装车身上， 其沿着预设路径进行行驶， 在行驶过程中相机对标志物 进行拍摄并记录每个相机拍摄标志物所处的地理位置并在高精度地图上进行标记， 由于路 径可以自行定义， 图像的预设特征点理论上可以无线多， 能够增加计算的准确性。 另外， 还 可以预设特征点进行分类， 分为训练集和测试集， 通过训练集进行计算， 测试集用于训练集 求出的外参进行校。

29、正， 更进一步增加准确性。 0066 所述步骤S2， 外参的校正方法具体包括以下步骤： 0067 获取位置改变的相机在第一预设位置拍摄的标志物图像， 并从标志物图像获取预 设特征点对应的二维坐标； 0068 具体地， 需要说明的是， 预设特征点包括多个； 0069 第一预设位置通过高精度地图进行定位， 也可以通过在道路上设置用于定位的物 理标签进行定位， 相机在预设的第一位置开始进行拍照， 由于相机的位置在变动前后， 其拍 摄相同标志物的位置相同， 因此其标志物中预设特征点的世界坐标系的三维坐标与相机安 装位置变动前的世界坐标系的三维坐标相同， 变化仅在于二维像素坐标， 但预设特征点的 坐标可。

30、以从标志物图像中进行读取。 0070 根据预设特征点， 利用相机内参对预设特征点进行使用观测方程进行三维重建； 0071 根据观测方程， 建立误差方程的目标函数， 求解目标函数的最小值， 获取目标函数 处于最小值的条件下相机外参R， t。 0072 相机安装在车身周围， 相机个数没有限制， 保证车身周围无盲区即可。 本实施例 中， 环视系统采用了四个相机， 为了便于叙述， 我们对相机进行编号： 参见图1， 第一相机安 装于车身前端， 第二相机安装于车身的左侧， 第三相机安装于车身的右侧， 第四相机安装于 车身的后侧； 0073 对于车载环视而言， 重建相机公共视角下的特征点， 首先对相机视场内。

31、的场景进 行特征点检测， 然后根据事先标定好相机内参的参数来对这些特征点进行三维重建， 重建 的过程使用的观测方程， 通过寻找最优解的方式来迭代优化， 最后得到每个相机在空间场 景的位置参数R,t， 其中， R为旋转矩阵， t为平移矩阵， 最后根据每个相机计算的R,t数据来 完成4个相机的坐标系的统一， 从而完成拼接自动调整过程。 0074 根据当前相机位置， 建立相机与目标的观测方程， 观测方程如下： 0075 zK(RX+t) (1) 说明书 5/8 页 8 CN 111640062 A 8 0076 xkR， t表示相机的位置， 其中， R， t分别表示相机的旋转矩阵和偏移矩阵t,X x。

32、,y,zT表示相机观测到的三维空间目标点的坐标， zu,vT为通过相机观测到空间点的 映射到相机的图像坐标,K为相机的内参； 上式中， 认为相机的位置xk是真实值。 0077 四个相机的外参计算完成之后， 就可以根据相机内参和相机外参来计算3D环视中 的三维模型到每个相机上的反投影仪点。 根据针孔相机模型的成像原理， 在理想的情况下 拍摄到的图像点与镜头中心和物体三维点具有三点共线性， 根据这个特性， 可以使用齐次 坐标矩阵将它们直接的关系表示出来， 如下所示： 0078 0079 其中， (u,v)表示图像的二维坐标、 fu和fv分别表示相机在图像的横轴和纵轴上的 基于像素的焦距、 (Cx,。

33、Cy)表示图像的中心点坐标、 R和T分别表示相机坐标到世界坐标的转 换关系， 即根据图优化方式计算的相机外参数。 (X,Y,Z)表示物体在世界坐标系下的三维坐 标， 在3D环视系统中表示为事先确定好的三维碗状模型， 次模型为3D环视显示的基础。 只需 要确定好相机的内参以及在此模型下的相机外参， 就可以通过公式(2)找到每个三维点在 对应图像上的坐标， 并将次坐标做为标定文件保存。 后期3D环视显示的时候载入这些图像 坐标即可实时获取图像信息完成四个相机的实时拼接显示。 0080 在步骤S3包括： 根据每个相机的外参和内参， 计算3D环视中的三维模型的世界坐 标系中三维点反投影到相机上对应二维。

34、图像上点的坐标， 获取拼接所用的二维坐标数据， 然后将二维坐标数据进行保存； 0081 当进行环视拼接式， 将所述二维坐标数据载入后实施获取图像信息完成环视拼 接。 0082 在步骤S2， 相机外参获取包括以下步骤： 0083 具体地， 在环视系统标定的过程就是多个相机的三维空间标定统一的过程， 即标 定多个相机的外参数， 最终使多个相机统一在同一个坐标系下以此来完成不同视场角度的 数据融合。 此可以将求解多个相机的外参过程视为一个寻找最优解的过程。 0084 建立相机与目标的观测方程； 基于观察数据， 建立目标的误差方程； 基于误差方 程， 构建目标函数， 在给定增量和迭代方向中， 对目标函。

35、数进行优化并求解目标函数的极 值， 然后求解满足目标函数等于极值的解， 从而获去相机的旋转矩阵R和偏移矩阵t； 0085 具体地： 0086 在相机的真实位置R， t未知的情况下， 根据已有的观测数据来确定一个误差方 程， 通过对误差的不断优化调整来计算最终对应的参数， 设一个相机在xk处进行了一次观 测， 得到数据zk， 那么相机的观测方程为： 0087 zkh(xk) (3) 0088 由于误差的存在， zk不可能精确的等于h(xk)， 于是有了误差： 0089 ekzk-h(xk) (4) 0090 即： ek(xk)(zk-K(RX+t) 说明书 6/8 页 9 CN 11164006。

36、2 A 9 0091 以xk为优化变量， 以minf(xk)|ek|为目标函数， 就可以求得xk的估计值， 从而 优化出想要的参数变量。 0092 设xk为一个相机的位置， 即旋转矩阵R和偏移矩阵t,对于一个环视系统而言其观 测方程可以是4个相机的空间位置变换关系。 如某个相机观测到了空间三维点， 得到了它的 图像坐标， 那么这个图的顶点为一个3D坐标Xx,y,zT和相机的位置T， 观测数据为图像 坐标zu,vT,那么观测方程为： 0093 zK(RX+t) 0094 其中K为已知的相机内参数。 相机的图像坐标zu,vT与3D坐标Xx,y,zT和相 机的位置T都是已知。 0095 为寻找最优解。

37、， 定义目标函数可以写成： 0096 0097 其中ek函数表示一个矢量误差， 作为优化变量xk和zk符合程度的一个度量， ek越小 表示xk越符合zk； 信息矩阵k表示的协方差矩阵， 是一个对称矩阵， 它是每个元素ij作为 ei， ej的系数， 可以看成对ei， ej这个误差项相关性的一个预计。 0098 对于有4个相机的环视系统而言， 在一个相机位置Tk出， 在内参K确定的情况下观 察了对空间点Xk进行了一次观测得到zk， 那么相机在该位置的目标可以写成： 0099 F(xk)ek(xk)Tkek(xk)(zk-K(RX+t)Tk(zk-K(RX+t) (6) 0100 为了求解上述的优化。

38、问题， 需要知道两样东西， 一个初始点和一个迭代方向， ， 假 设初始点为并且给它一个增量x， 那么相机在位置的估计值变为而 误差值则从变为对误差项进行展开为： 0101 0102 Jk是ek关于xk的导数， 每一步迭代中都会计算一个Jk， 从而找到一个x使得(7)式 变为极小值。 0103 于是对在给定的增量x后， 相机的目标函数项有： 0104 0105 其中Ck为与无关的常数项， 2bk为一次项系数， Hk为二次项系数， CkekTkek， bk ekTkJkHkJkTkJk， 0106 当xk发生增量后， 目标函数Fk项改变量即为： 0107 Fk2bkx+xTHkx (9) 0108。

39、为了求解x， 使得为极小值， 可以令其对应的导数 说明书 7/8 页 10 CN 111640062 A 10 为零， 即 0109 0110 公式(10)对应的方程组为： 0111 Hkx-bk (11) 0112 通过求解方程组(11)可以得到x的一个解， 对于未知数xkR,t， 可以设置他 的初始位置其中为单位矩阵,为零向量。 通过公式(6)来建立一个空间三 维坐标与图像点之间的链接和边的关系来确定外参数的方程， 然后根据公式(11)来解方程 组从而确定一个变化量x， 在每步迭代过程中寻求最优的x从而获取相机， 最终获得空 间的位置信息即R,t。 0113 传统的标定方法如； 张正友方法。

40、， 其通过采用棋盘格的方法， 其标定的结果受到人 为因素影响较大， 如： 1、 棋盘的排放算法是基于2D模型的， 如果棋盘摆放的不平整。 2.图片 的角度， 太大的角度对于角点提取的精度影像比较大。 其进行标定后获取相机的外参后， 无 法再进行后期的验证。 而本发明由于无须放置棋盘格， 直接通过获取道路的标志物中的特 征点作为参考点， 其进行一次标定后， 可以车辆行驶的过程中利用标志物的其它特征点来 进行验证， 以达到更高的精度； 0114 为此， 可以将标志物图像中的特征点的二维坐标和对应的世界坐标系的三维坐标 组成的数据集分为训练集和测试集， 训练集数据用于求取R,t， 测试集用于验证R，。

41、 t的精度， 若精度不理想， 还可以继续优化训练。 将测试集和训练集进行交叉验证或者随机分类后在 进行新的训练集和测试集分类， 使得最终的R， t能够获得满意的精度， 提高环视形成的全景 图片的体验。 0115 以上所述的仅是本发明的优选实施方式， 本发明不限于以上实施例。 本领域的技 术人员可以清楚， 该实施例中的形式不局限于此， 同时可调整方式也不局限于此。 可以理 解， 本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和 变化， 均应认为包含在本发明的保护范围之内。 说明书 8/8 页 11 CN 111640062 A 11 图1 说明书附图 1/1 页 12 CN 111640062 A 12 。