全向视差视图合成方法、装置及存储介质.pdf

《全向视差视图合成方法、装置及存储介质.pdf》由会员分享，可在线阅读，更多相关《全向视差视图合成方法、装置及存储介质.pdf（24页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010268198.7 (22)申请日 2020.04.08 (71)申请人 北京小米松果电子有限公司 地址 100085 北京市海淀区清河朱房路临 66号C栋C单元 (72)发明人 肖春霞罗飞李文杰周力恒 (74)专利代理机构 北京钲霖知识产权代理有限 公司 11722 代理人 李志新刘亚平 (51)Int.Cl. H04N 13/156(2018.01) H04N 13/178(2018.01) G06T 5/50(2006.01) (54)发明名称 一种全向视差视图合。

2、成方法、 装置及存储介 质 (57)摘要 本公开是关于一种全向视差视图合成方法、 装置及存储介质， 全向视差视图合成方法， 所述 方法包括： 获取原始图像数据对之间的视差， 其 中所述视差包括水平视差和竖直视差； 基于原始 图像数据对之间的基线确定目标视点； 根据所述 水平视差和所述竖直视差获取所述目标视点在 所述原始图像数据中的目标像素； 根据所述目标 像素合成所述目标视点的目标视图。 通过本公 开， 增加了在目标图像像素与原始图像数据像素 匹配的准确性。 权利要求书4页 说明书12页 附图7页 CN 111464804 A 2020.07.28 CN 111464804 A 1.一种全向视。

3、差视图合成方法， 其特征在于， 所述方法包括： 获取原始图像数据对之间的视差， 其中所述视差包括水平视差和竖直视差； 基于原始图像数据对之间的基线确定目标视点； 根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的目标 像素； 根据所述目标像素合成所述目标视点的目标视图。 2.根据权利要求1所述的全向视差视图合成方法， 其特征在于， 获取原始图像数据对之 间的视差， 包括： 获取原始图像数据对； 将所述原始图像数据对输入到预先构建的视差预测模型中， 得到所述原始数据对之间 的水平视差和竖直视差。 3.根据权利要求2所述的全向视差视图合成方法， 其特征在于， 所述方法还包括采用如。

4、 下方式预先构建视差预测模型： 确定双目立体图像数据集， 所述双目立体图形数据集中包括双目立体图像的水平方向 数据和竖直方向数据； 基于所述双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集； 对所述训练数据集进行深度神经网络训练， 得到视差预测训练模型； 确定损失函数， 根据所述损失函数和测试集数据对所述视差预测模型进行检测， 并得 到目标视点生成参数； 基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到视差预 测模型。 4.根据权利要求3所述的全向视差视图合成方法， 其特征在于， 所述确定损失函数， 包 括： 基于获取的视差预测模型输出的双目立体图像数据视差与训练。

5、集数据中双目立体图 像数据视差的平均绝对误差、 像素点误差以及结构相似性， 确定损失函数。 5.根据权利要求1所述的全向视差视图合成方法， 其特征在于， 根据所述水平视差和所 述竖直视差获取所述目标视点在所述原始图像数据中的目标像素， 包括： 获取目标视点； 根据所述目标视点和水平视差， 确定目标视点在水平方向上到原始图像数据中对应像 素的距离； 根据所述目标视点和竖直视差， 确定目标视点在竖直方向上到原始图像数据中对应像 素的距离； 根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖 直方向上到原始图像数据中对应像素的距离， 确定并获取目标视点在所述原始图像数据中 对应。

6、的目标像素。 6.根据权利要求5所述的全向视差视图合成方法， 其特征在于， 根据所述目标视点在水 平方向上到原始图像数据中对应像素的距离和目标视点在竖直方向上到原始图像数据中 对应像素的距离， 确定并获取目标视点在所述原始图像数据中对应的目标像素， 包括： 根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖 权利要求书 1/4 页 2 CN 111464804 A 2 直方向上到原始图像数据中对应像素的距离， 确定目标视点在原始图像数据中对应像素的 相邻像素； 根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线性比例关 系确定每个相邻像素对应的权重值， 其中。

7、所有相邻像素对应的权重值的和为1； 根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重 值计算得到目标视点对应的目标像素。 7.根据权利要求6所述的全向视差视图合成方法， 其特征在于， 根据目标视点在原始图 像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算得到目标视点对应的 目标像素， 通过如下方式实现： 其中，为目标视点的合成视图； W1为目标视点第一相邻点的像素权重值,W2为目标 视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值， W4为目标视点第四 相邻点的像素权重值， 且W1+W2+W3+W41；为目标视点第一相邻点的像素； 为目标视点第。

8、二相邻点的像素；为目标视点第三相邻点 的像素；为目标视点第四相邻点的像素。 8.一种全向视差视图合成装置， 其特征在于， 所述装置包括： 获取模块， 用于获取原始图像数据对之间的视差， 其中所述视差包括水平视差和竖直 视差； 确定模块， 用于基于原始图像数据对之间的基线确定目标视点； 获取模块， 还用于根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图 像数据中的目标像素； 合成模块， 用于根据所述目标像素合成所述目标视点的目标视图。 9.根据权利要求8所述的全向视差视图合成装置， 其特征在于， 所述获取模块采用如下 方式获取原始图像数据对之间的视差： 获取原始图像数据对； 将所述原始。

9、图像数据对输入到预先构建的视差预测模型中， 得到所述原始数据对之间 的水平视差和竖直视差。 10.根据权利要求9所述的全向视差视图合成装置， 其特征在于， 所述装置还包括构建 模块， 所述构建模块采用如下方式构建视差预测模型： 确定双目立体图像数据集， 所述双目立体图形数据集中包括双目立体图像的水平方向 数据和竖直方向数据； 基于所述双目立体图像数据集中确定视差预测模型的训练数据集和测试数据集； 对所述训练数据集进行深度神经网络训练， 得到视差预测训练模型； 确定损失函数， 根据所述损失函数和测试集数据对所述视差预测模型进行检测， 并得 到目标视点生成参数； 基于所述损失函数和所述目标视点生成。

10、参数调试所述视差预测训练模型得到视差预 测模型。 权利要求书 2/4 页 3 CN 111464804 A 3 11.根据权利要求10所述的全向视差视图合成装置， 其特征在于， 所述确定模块还用 于： 基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图 像数据视差的平均绝对误差、 像素点误差以及结构相似性， 确定损失函数。 12.根据权利要求8所述的全向视差视图合成装置， 其特征在于， 所述确定模块采用如 下方式确定所述目标视点在所述原始图像数据中的目标像素： 获取目标视点； 根据所述目标视点和水平视差， 确定目标视点在水平方向上到原始图像数据中对应像 素的距离； 根据所。

11、述目标视点和竖直视差， 确定目标视点在竖直方向上到原始图像数据中对应像 素的距离； 根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖 直方向上到原始图像数据中对应像素的距离， 确定并获取目标视点在所述原始图像数据中 对应的目标像素。 13.根据权利要求12所述的全向视差视图合成装置， 其特征在于， 所述确定模块采用如 下方式确定目标视点在所述原始图像数据中对应的目标像素： 根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点在竖 直方向上到原始图像数据中对应像素的距离， 确定目标视点在原始图像数据中对应像素的 相邻像素； 根据所述相邻像素与目标视点在原始。

12、图像数据中对应的像素之间的距离线性比例关 系确定每个相邻像素对应的权重值， 其中所有相邻像素对应的权重值的和为1； 根据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重 值计算得到目标视点对应的目标像素。 14.根据权利要求13所述的全向视差视图合成装置， 其特征在于， 所述确定模块还包括 计算单元， 所述计算单元通过下述方式确定目标视点对应的目标像素： 其中，为目标视点的合成视图； W1为目标视点第一相邻点的像素权重值,W2为目标 视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值， W4为目标视点第四 相邻点的像素权重值， 且W1+W2+W3+W41；为目。

13、标视点第一相邻点的像素； 为目标视点第二相邻点的像素；为目标视点第三相邻点 的像素；为目标视点第四相邻点的像素。 15.一种全向视差视图合成装置， 其特征在于， 包括： 处理器； 用于存储处理器可执行指令的存储器； 其中， 所述处理器被配置为： 执行权利要求1至7中任意一项所述的全向视差视图合成 方法。 16.一种非临时性计算机可读存储介质， 当所述存储介质中的指令由网络设备的处理 权利要求书 3/4 页 4 CN 111464804 A 4 器执行时， 使得电子设备能够执行权利要求1至7中任意一项所述的全向视差视图合成方 法。 权利要求书 4/4 页 5 CN 111464804 A 5 一。

14、种全向视差视图合成方法、 装置及存储介质 技术领域 0001 本公开涉及图像技术领域， 尤其涉及一种全向视差视图合成方法、 装置及存储介 质。 背景技术 0002 随着图像技术的发展， 越来越多的的领域应用了视图合成技术， 例如： 虚拟显示， 远程会议， 物体3维重构， 视频帧预测等。 相关技术中有， 基于流的视图合成方法， 基于概率 模型的视图合成方法， 基于深度或者视差信息的视图合成方法。 0003 然而， 在相关技术中， 基于视差合成的视图， 在自然复杂场景中不适用， 并且学习 不够鲁棒， 合成效果不佳。 发明内容 0004 为克服相关技术中存在的问题， 本公开提供一种全向视差视图合成方。

15、法、 装置及 存储介质。 0005 根据本公开实施例的第一方面， 提供一种全向视差视图合成方法， 所述方法包括： 0006 获取原始图像数据对之间的视差， 其中所述视差包括水平视差和竖直视差； 基于 原始图像数据对之间的基线确定目标视点； 根据所述水平视差和所述竖直视差获取所述目 标视点在所述原始图像数据中的目标像素； 根据所述目标像素合成所述目标视点的目标视 图。 0007 在一种实施方式中， 获取原始图像数据对之间的视差， 包括： 0008 获取原始图像数据对； 将所述原始图像数据对输入到预先构建的视差预测模型 中， 得到所述原始数据对之间的水平视差和竖直视差。 0009 在一种实施方式中。

16、， 所述方法还包括采用如下方式预先构建视差预测模型： 0010 确定双目立体图像数据集， 所述双目立体图形数据集中包括双目立体图像的水平 方向数据和竖直方向数据； 基于所述双目立体图像数据集中确定视差预测模型的训练数据 集和测试数据集； 对所述训练数据集进行深度神经网络训练， 得到视差预测训练模型； 确定 损失函数， 根据所述损失函数和测试集数据对所述视差预测模型进行检测， 并得到目标视 点生成参数； 基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到 视差预测模型。 0011 在一种实施方式中， 所述确定损失函数， 包括： 0012 基于获取的视差预测模型输出的双目立体图像数。

17、据视差与训练集数据中双目立 体图像数据视差的平均绝对误差、 像素点误差以及结构相似性， 确定损失函数。 0013 在一种实施方式中， 根据所述水平视差和所述竖直视差获取所述目标视点在所述 原始图像数据中的目标像素， 包括： 0014 获取目标视点； 根据所述目标视点和水平视差， 确定目标视点在水平方向上到原 始图像数据中对应像素的距离； 根据所述目标视点和竖直视差， 确定目标视点在竖直方向 说明书 1/12 页 6 CN 111464804 A 6 上到原始图像数据中对应像素的距离； 根据所述目标视点在水平方向上到原始图像数据中 对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距。

18、离， 确定并获取 目标视点在所述原始图像数据中对应的目标像素。 0015 在一种实施方式中， 根据所述目标视点在水平方向上到原始图像数据中对应像素 的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离， 确定并获取目标视点 在所述原始图像数据中对应的目标像素， 包括： 0016 根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点 在竖直方向上到原始图像数据中对应像素的距离， 确定目标视点在原始图像数据中对应像 素的相邻像素； 根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线 性比例关系确定每个相邻像素对应的权重值， 其中所有相邻像素对应的权重值的和为1；。

19、 根 据目标视点在原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算 得到目标视点对应的目标像素。 0017 在一种实施方式中， 根据目标视点在原始图像数据中对应像素的相邻像素以及所 述相邻像素对应的权重值计算得到目标视点对应的目标像素像素， 通过如下方式实现： 0018 0019其中，为目标视点的合成视图； W1为目标视点第一相邻点的像素权重值,W2为 目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值， W4为目标视点 第四相邻点的像素权重值， 且W1+W2+W3+W41；为目标视点第一相邻点的像 素；为目标视点第二相邻点的像素；为目标视点第三相邻 点的像素。

20、；为目标视点第四相邻点的像素。 0020 根据本公开实施例的第二方面， 提供一种全向视差视图合成装置， 所述装置包括： 0021 获取模块， 用于获取原始图像数据对之间的视差， 其中所述视差包括水平视差和 竖直视差； 确定模块， 用于基于原始图像数据对之间的基线确定目标视点； 获取模块， 还用 于根据所述水平视差和所述竖直视差获取所述目标视点在所述原始图像数据中的像素； 合 成模块， 用于根据所述像素合成所述目标视点的目标视图。 0022 在一种实施方式中， 所述获取模块采用如下方式获取原始图像数据对之间的视 差： 0023 获取原始图像数据对； 将所述原始图像数据对输入到预先构建的视差预测模。

21、型 中， 得到所述原始数据对之间的水平视差和竖直视差。 0024 在一种实施方式中， 所述装置还包括构建模块， 所述构建模块采用如下方式预先 构建视差预测模型： 0025 确定双目立体图像数据集， 所述双目立体图形数据集中包括双目立体图像的水平 方向数据和竖直方向数据； 基于所述双目立体图像数据集中确定视差预测模型的训练数据 集和测试数据集； 对所述训练数据集进行深度神经网络训练， 得到视差预测训练模型； 确定 损失函数， 根据所述损失函数和测试集数据对所述视差预测模型进行检测， 并得到目标视 点生成参数； 基于所述损失函数和所述目标视点生成参数调试所述视差预测训练模型得到 视差预测模型。 说。

22、明书 2/12 页 7 CN 111464804 A 7 0026 在一种实施方式中， 所述确定模块还用于： 0027 基于获取的视差预测模型输出的双目立体图像数据视差与训练集数据中双目立 体图像数据视差的平均绝对误差、 像素点误差以及结构相似性， 确定损失函数。 0028 在一种实施方式中， 所述确定模块根据如下方式确定所述目标视点在所述原始图 像数据中的目标像素： 0029 获取目标视点； 根据所述目标视点和水平视差， 确定目标视点在水平方向上到原 始图像数据中对应像素的距离； 根据所述目标视点和竖直视差， 确定目标视点在竖直方向 上到原始图像数据中对应像素的距离； 根据所述目标视点在水平。

23、方向上到原始图像数据中 对应像素的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离， 确定并获取 目标视点在所述原始图像数据中对应的目标像素。 0030 在一种实施方式中， 所述确定模块采用如下方式确定目标视点在所述原始图像数 据中对应的目标像素： 0031 根据所述目标视点在水平方向上到原始图像数据中对应像素的距离和目标视点 在竖直方向上到原始图像数据中对应像素的距离， 确定目标视点在原始图像数据中对应像 素的相邻像素； 根据所述相邻像素与目标视点在原始图像数据中对应的像素之间的距离线 性比例关系确定每个相邻像素对应的权重值， 其中所有相邻像素对应的权重值的和为1； 根 据目标视点在。

24、原始图像数据中对应像素的相邻像素以及所述相邻像素对应的权重值计算 得到目标视点对应的目标像素。 0032 在一种实施方式中， 所述确定模块还包括计算单元， 所述计算单元通过下述方式 确定目标视点对应的目标像素： 0033 0034其中，为目标视点的合成视图； W1为目标视点第一相邻点的像素权重值,W2为 目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值， W4为目标视点 第四相邻点的像素权重值， 且W1+W2+W3+W41；为目标视点第一相邻点的像 素；为目标视点第二相邻点的像素；为目标视点第三相邻 点的像素；为目标视点第四相邻点的像素。 0035 根据本公开实施例的第二方。

25、面， 提供一种全向视差的视图合成装置， 包括： 0036 处理器； 用于存储处理器可执行指令的存储器； 其中， 所述处理器被配置为： 执行 第一方面或者第一方面任意一种实施方式中的全向视差视图合成方法。 0037 根据本公开实施例的第二方面， 提供一种非临时性计算机可读存储介质， 当所述 存储介质中的指令由网络设备的处理器执行时， 使得电子设备能够执行第二方面或者第二 方面任意一种实施方式中所述的全向视差视图合成方法。 0038 本公开的实施例提供的技术方案可以包括以下有益效果： 根据获取的原始图像数 据的水平视差和竖直视差确定目标视点像素在原始图像数据中对应的像素， 进而合成目标 视图， 增。

26、加了在目标图像像素与原始图像数据像素匹配的准确性， 简便性以及适用性。 0039 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本公开。 说明书 3/12 页 8 CN 111464804 A 8 附图说明 0040 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本公开的实施 例， 并与说明书一起用于解释本公开的原理。 0041 图1是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。 0042 图2是根据不同的视点拍摄的同一物体的原始图像数据对的示意图。 0043 图3是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。 00。

27、44 图4是根据输入原始图像数据预测视差的示意图。 0045 图5是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。 0046 图6是构建深度神经网络(DispNet)框架结构示意图。 0047 图7是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。 0048 图8是根据一示例性实施例示出的一种全向视差视图合成方法的流程图。 0049 图9是根据一示例性实施例示出的一种全向视差视图合成装置的框图。 0050 图10是根据一示例性实施例示出的一种装置的框图。 具体实施方式 0051 这里将详细地对示例性实施例进行说明， 其示例表示在附图中。 下面的描述涉及 附图时， 除非另有。

28、表示， 不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例 中所描述的实施方式并不代表与本公开相一致的所有实施方式。 相反， 它们仅是与如所附 权利要求书中所详述的、 本公开的一些方面相一致的装置和方法的例子。 0052 本公开提供的全向视差视图合成方法， 分别获取原始图像对在水平方向和竖直方 向之间的视差， 根据水平方向和竖直方向之间的视差确定原始图像中对应的像素， 可以适 用于复杂的自然场景， 并且合成效果极佳。 0053 图1是根据一示例性实施例示出的一种全向视差视图合成方法的流程图， 如图1所 示， 全向视差视图合成方法， 包括以下步骤。 0054 在步骤S11中， 获取原始。

29、图像数据对之间的视差。 0055 其中所述视差包括水平视差和竖直视差。 在本公开实施例中， 水平视差用DISPh表 示， 竖直视差用DISPv表示。 0056 获取原始图像数据对， 其中原始图像数据对包括第一原始图像和第二原始图像， 第一原始图像和第二原始图像， 在不同的视点拍摄的同一物体的原始图像数据对。 如图2所 示， 根据第一原始图像和第二原始图像的像素坐标， 确定第二原始图像的像素坐标对应在 第一原始图像的像素坐标， 确定两个像素坐标之间的水平视差和竖直视差。 0057 在步骤S12中， 基于原始图像数据对之间的基线确定目标视点。 0058 其中， 基线为原始图像数据对之间两个拍摄点之。

30、间的连线。 目标视点为原始图像 数据对的基线上任意一点。 0059 在步骤S13中， 根据水平视差和竖直视差获取目标视点在原始图像数据中的目标 像素。 0060 确定目标视点之后， 获取目标视点在像素坐标下的坐标值， 根据目标视点的坐标 值以及获取的水平视差和竖直视差确定目标视点的像素在第一原始图像中的像素坐标， 根 据确定的目标视点的像素在第一原始图像中的像素坐标获取对应像素。 说明书 4/12 页 9 CN 111464804 A 9 0061 在步骤S14中， 根据目标像素合成目标视点的目标视图。 0062 目标视图包括多个像素， 基于第一原始图像获取所有的像素之后， 根据像素合成 目标。

31、视图。 0063 在上述方法中， 根据水平视差以及竖直视差确定的目标视点像素在原始图像数据 中的对应像素， 增加了确定目标视点像素在原始图像数据中的对应像素的准确性， 进一步 提高了目标视图的准确性。 0064 本公开实施例以下结合实际应用对本公开涉及的全向视差视图合成方法进行说 明。 0065 图3是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。 如图3所 示， 获取原始图像数据对之间的视差， 包括步骤S31和步骤S32。 0066 在步骤S31中， 获取原始图像数据对。 0067 在步骤S32中， 将原始图像数据对输入到预先构建的视差预测模型中， 得到原始数 据对之间的水平视差。

32、和竖直视差。 0068 获取到原始数据对， 即在不同视点拍摄的第一原始图像和第二原始图像。 将获取 的第一原始图像和第二原始图像输入到预先构建的视差预测模型中， 进一步得到在第一原 始图像和第二原始图像之间的水平视差和竖直视差。 如图4所示， 在视差预测模型中， 输入 在不同视点拍摄的同一物体的立体图像原始图像数据对， 根据视差预测模型深度神经网 络， 通过对原始图像数据进行卷积运算， 包括卷积上采样和卷积下采样。 通过双线性采样器 生成参数 ， 其中 的取值范围为0 1， 参数 用于确定目标视点更接近于原始图像数据 的第一原始图像或第二原始图像。 将该参数加入到视差预测模型预算中， 得到水平。

33、方向和 竖直方向上的视差图。 0069 在本公开的一种实施方式中， 通过采用以下方式构建视差预测模型。 0070 图5是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。 如图5所 示， 构建视差预测模型的方法包括步骤S51-步骤S55。 0071 在步骤S51中， 确定双目立体图像数据集， 双目立体图形数据集中包括双目立体图 像的水平方向数据和竖直方向数据。 0072 其中， 双目立体图像数据集可以选择具有真实场景的图像数据。 选择的该图像数 据中真实场景环境多样。 例如本公开实施例采用KITTI数据集得到双目立体图像数据集。 0073 KITTI数据集由德国卡尔斯鲁厄理工学院和丰田。

34、美国技术研究院联合创办。 该数 据集用于评测立体图像(stereo)， 光流(optical flow)， 视觉测距(visual odometry)， 3D 物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性 能。 KITTI包含市区、 乡村和高速公路等场景采集的真实图像数据， 每张图像中最多达15辆 车和30个行人， 还有各种程度的遮挡与截断。 0074 在步骤S52中， 基于双目立体图像数据集中确定视差预测模型的训练数据集和测 试数据集。 0075 将得到的双目立体图像数据集按照二分类比例关系， 例如可以将训练数据集和测 试数据集按。

35、照7:3或者8:2的比例进行划分， 得到训练数据集和测试数据集。 0076 在步骤S53中， 对训练数据集进行卷积神经网络训练， 得到视差预测训练模型。 0077 构建深度神经网络(DispNet)框架结构， 如图6所示， 使该卷积神经网络可以计算 说明书 5/12 页 10 CN 111464804 A 10 任意一图像数据对之间的视差， 并在计算图像数据对的视差时， 可以分别计算为水平视差 和竖直视差。 得到可以输出水平视差和竖直视差的视差预测训练模型。 0078 在步骤S54中， 确定损失函数， 根据损失函数和测试集数据对视差预测模型进行检 测， 并得到目标视点生成参数。 0079 根据。

36、上述得到的视差预测训练模型得到输出的视差视图与已有的视差视图进行 对比， 确定由视差预测训练模型得到输出的视差视图与已有的视差视图之间的误差， 确定 损失函数。 根据确定的损失函数以及上述得到的测试数据集对视差训练模型进行输出结果 的检测， 确定目标视点生成参数， 采用 表示， 其中 的取值范围为0 1。 确定的目标视点 生成参数 用于确定目标视点的目标视图更接近第一原始图像还是第二原始图像。 0080 其中在目标视点生成参数 的条件下， 目标视点像素坐标与目标视点像素在原始 图像数据中像素的坐标关系如下： 0081 0082 0083其中，为目标视点在目标视点生成参数 的条件下的水平坐标， 。

37、Yt 为目标视点 在目标视点生成参数 的条件下的竖直坐标， XS为目标视点像素在原始图像数据中心对应 像素的水平坐标，为在目标视点生成参数 的条件下的水平视差， YS为目标视点像素 在原始图像数据中心对应像素的竖直坐标，为为在目标视点生成参数 的条件下的 竖直视差。 0084其中还可以表示为 DISPv，还可以表示为 DISPh。 0085 在步骤S55中， 基于损失函数和目标视点生成参数调试视差预测训练模型得到视 差预测模型。 0086 根据上述确定的损失函数以及目标视点生成参数设置于视差预测训练模型中， 得 到可以预测图像数据对之间水平视差和竖直视差的视差预测模型。 0087 在本公开一示。

38、例性实施例中， 采用如下函数确定上述涉及的损失函数。 0088 在本公开一种实施方式中， 损失函数由视差预测模型输出的双目立体图像数据视 差与训练集数据中双目立体图像数据视差的平均绝对误差(the Mean Absolute Error， MAE)、 像素点误差以及结构相似性(the Structural similarity index Measure， SSIM)组 成。 0089 损失函数采用下述函数式表示， 0090 0091 其中， MAE为视差预测模型输出的双目立体图像数据视差与训练集数据中双目立 体图像数据视差的平均绝对误差， PSNR为像素点误差， 即峰值信噪比， SSIM为结。

39、构相似性， S 为预测视差视图中像素， G实际的视差视图中像素。 1为视差预测模型输出的双目立体图像 数据视差与训练集数据中双目立体图像数据视差的平均绝对误差的权重值， 2为像素点误 差的权重值，3结构相似性的权重值。 0092 MAE采用下述函数式表示， 说明书 6/12 页 11 CN 111464804 A 11 0093 0094 其中， W为双目立体图像数据集中图像的宽度， H为双目立体图像数据集中图像的 高度， S(x,y)为预测视差视图中像素的坐标， G(x,y)为实际的视差视图中像素的坐标。 0095 像素点误差， 即基于误差敏感的图像质量评价， 是一种图像客观评价指标， 为峰。

40、值 信噪比(the Peak Signal to Noise Ratio， PSNR)， 数值越大表示失真越小。 采用下述函数 式表示， 0096 0097 其中。 MSE为视差预测模型输出的双目立体图像数据视差与训练集数据中双目立 体图像数据视差的均方误差， n为每个像素的比特数。 0098 视差预测模型输出的双目立体图像数据视差与训练集数据中双目立体图像数据 视差的均方误差， 采用下述函数式表示， 0099 0100 结构相似性， 是一种全参考的图像质量评价指标， 该结构相似性可以从亮度、 对比 度、 结构三方面来度量图像的相似性。 SSIM的取值范围为0,1， SSIM的值越大， 表示图。

41、像的 失真越小。 SSIM采用下述函数式表示， 0101 SSIM(S,G)I(S,G)*C(S,G)*St(S,G) 0102 其中， I为亮度， C为对比度， St为结构， S为预测视差视图中像素， G实际的视差视图 中像素。 0103 亮度I采用下述函数式表示， 0104 0105 S为预测视差视图中像素的均值，G为实际的视差视图中像素的均值， C1常数。 0106 对比度C采用下述函数式表示， 0107 0108 S为预测视差视图中像素的方差， G为实际的视差视图中像素的方差， C2常数。 0109 结构St采用下述函数式表示， 0110 0111 SG为预测视差视图中像素与实际的视差。

42、视图中像素的协方差， X为预测视差视图 中像素与实际的视差视图中像素的水平协方差， Y为预测视差视图中像素与实际的视差视 图中像素的竖直平协方差， C3为常数。 0112 图7是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。 如图7所 示， 在本公开一示例性实施例中， 根据水平视差和竖直视差获取目标视点在原始图像数据 说明书 7/12 页 12 CN 111464804 A 12 中的像素的方法包括步骤S71-步骤S74。 0113 在步骤S71中， 获取目标视点。 0114 由上述实施例可知， 在原始图像数据对的基线上确定目标视点， 获取该目标视点， 并进一步得到目标视点的像素坐。

43、标。 0115 在步骤S72中， 根据目标视点和水平视差， 确定目标视点在水平方向上到原始图像 数据中对应像素的距离。 0116 根据目标视点的像素坐标和得到的水平视差， 确定目标视点在水平方向上到原始 图像数据对应目标像素的距离， 即目标视点在水平方向上需要移动的距离。 0117 在步骤S73中， 根据目标视点和竖直视差， 确定目标视点在竖直方向上到原始图像 数据中对应像素的距离。 0118 根据标视点的像素坐标和得到的竖直视差， 确定目标视点在竖直方向上到原始图 像数据对应像素的距离， 即目标视点在竖直方向上需要移动的距离。 0119 在步骤S74中， 根据目标视点在水平方向上到原始图像数。

44、据中对应像素的距离和 目标视点在竖直方向上到原始图像数据中对应像素的距离， 确定并获取目标视点在原始图 像数据中对应的目标像素。 0120 根据上述实施例中得到的目标视点到原始图像数据对应像素的水平方向距离和 竖直方向距离， 确定目标视点像素坐标在原始图像数据中对应的目标像素坐标， 根据目标 像素坐标确定并获取目标像素。 0121 按照上述方法获取得到目标视点后， 确定目标视点像素坐标， 根据视差预测模型 输出的水平视差和竖直视差计算目标视点在原始图像数据中对应像素的坐标。 进一步地， 本公开中， 选择原始图像数据对中的第一原始图像为例， 根据预测得到的水平视差和竖直 视差计算目标视点像素在第。

45、一原始图像中对应的像素。 并获取该像素与目标视图中。 0122 图8是根据一示例性实施例示出的一种全向视差视图合成的方法流程图。 如图8所 示， 在本公开一示例性实施例中， 根据目标视点在水平方向上到原始图像数据中对应像素 的距离和目标视点在竖直方向上到原始图像数据中对应像素的距离， 计算并获取目标视点 在原始图像数据中对应的像素的方法， 包括步骤S81-步骤S83。 0123 在步骤S81中， 根据目标视点在水平方向上到原始图像数据中对应像素的距离和 目标视点在竖直方向上到原始图像数据中对应像素的距离， 确定目标视点在原始图像数据 中对应像素的相邻像素。 0124 确定目标视点像素坐标， 通。

46、过对目标视点像素坐标根据水平视差和竖直视差进行 计算， 得到目标视点在原始图像中像素坐标， 可以用下述公式表示， 0125 0126其中为目标视图像素坐标， DISPh为水平视差， DISPv为竖直视差，为原 始图像数据中对应像素坐标，为原始图像像素坐标基于目标视图像素坐标的 坐标。 0127 确定目标像素在原始图像数据中对应像素坐标之后， 采用双线性插值法确定与目 标像素在原始图像数据中对应像素坐标相邻的4个像素， 并获取相邻4个像素的坐标， 为第 说明书 8/12 页 13 CN 111464804 A 13 一相邻像素第二相邻像素第三相邻像素第四相邻像素 0128 在步骤S82中， 根据。

47、相邻像素与目标视点在原始图像数据中对应的像素之间的距 离线性比例关系确定每个相邻像素对应的权重值， 其中所有相邻像素对应的权重值的和为 1。 0129 确定4个相邻像素的权重值， 分别为第一权重W1， 第二权重W2， 第三权重W3， 第四权 重W4， 根据4个相邻像素到目标像素在原始图像数据中对应像素的距离确定4权重的比例关 系， 并且W1+W2+W3+W41。 0130 在步骤S83中， 根据目标视点在原始图像数据中对应像素的相邻像素以及相邻像 素对应的权重值计算得到目标视点像素。 0131 确定了相邻像素点之后， 采用根据目标视点在原始图像数据中对应像素的相邻像 素以及相邻像素对应的权重值。

48、计算得到目标视点像素的计算式计算目标点像素。 0132 其中， 根据目标视点在原始图像数据中对应像素的相邻像素以及相邻像素对应的 权重值计算得到目标视点像素的计算式如下： 0133 0134其中，为目标视点的合成视图； W1为目标视点第一相邻点的像素权重值,W2为 目标视点第二相邻点的像素权重值,W3为目标视点第三相邻点的像素权重值， W4为目标视点 第四相邻点的像素权重值， 且W1+W2+W3+W41；为目标视点第一相邻点的像 素；为目标视点第二相邻点的像素；为目标视点第三相邻 点的像素；为目标视点第四相邻点的像素。 0135 基于相同的构思， 本公开实施例还提供一种全向视差视图合成装置。 。

49、0136 可以理解的是， 本公开实施例提供的全向视差视图合成装置为了实现上述功能， 其包含了执行各个功能相应的硬件结构和/或软件模块。 结合本公开实施例中所公开的各 示例的单元及算法步骤， 本公开实施例能够以硬件或硬件和计算机软件的结合形式来实 现。 某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行， 取决于技术方案的特定 应用和设计约束条件。 本领域技术人员可以对每个特定的应用来使用不同的方法来实现所 描述的功能， 但是这种实现不应认为超出本公开实施例的技术方案的范围。 0137 图9是根据一示例性实施例示出的一种全向视差视图合成装置框图。 参照图9， 该 装置包括获取模块901， 确定。

50、模块902和合成模块903。 0138 获取模块901， 用于获取原始图像数据对之间的视差， 其中视差包括水平视差和竖 直视差； 确定模块902， 用于基于原始图像数据对之间的基线确定目标视点。 获取模块， 还用 于根据水平视差和竖直视差获取所述目标视点在原始图像数据中的目标像素。 合成模块 903， 用于根据目标像素合成所述目标视点的目标视图。 0139 在上述装置中， 根据水平视差以及竖直视差确定的目标视点像素在原始图像数据 中的对应像素， 增加了确定目标视点像素在原始图像数据中的对应像素的准确性， 进一步 提高了目标视图的准确性。 说明书 9/12 页 14 CN 111464804 A。