图像处理方法、个性化人体显示方法及其图像处理系统.pdf

提供一种图像处理方法、个性化人体显示方法及其图像处理系统。一种用于产生个性化人体模型的图像处理方法包括：A）获取包含人体对象的3D场景的深度图；B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；C）针对每个身体部位，根据获取的深度图计算所述身体部位在各个维度上的放缩比例；D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。

权利要求书
1.  一种用于产生个性化人体模型的图像处理方法，所述图像处理方法包括：
A）获取包含人体对象的3D场景的深度图；
B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；
C）针对每个身体部位，根据获取的深度图执行以下个性化处理：
C-1）通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度；
C-2）将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间；
C-3）通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例；
D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。

2.  如权利要求1所述的图像处理方法，其特征在于，在步骤C-1）中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。

3.  如权利要求2所述的图像处理方法，其特征在于，在步骤C-3）中，通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。

4.  如权利要求3所述的图像处理方法，其特征在于，步骤D）还包括：对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。

5.  一种用于产生个性化人体模型的图像处理系统，包括：
深度传感器，用于获取包含人体对象的3D场景的深度图；
人体检测和处理单元，从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；
人体个性化处理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体部位执行个性化处理，以产生人体对象的个性化模型；
其中，人体个性化处理单元首先针对每个身体部位，执行以下处理：
通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，
将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，
通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，
人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。

6.  如权利要求5所述的图像处理系统，其特征在于，人体个性化处理单元针对每个身体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。

7.  如权利要求6所述的图像处理系统，其特征在于，人体个性化处理单元通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的 空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。

8.  如权利要求7所述的图像处理系统，其特征在于，人体个性化处理单元还对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。

9.  一种增强现实中的个性化人体显示方法，所述方法包括：
A）通过与用户交互确定增强现实的虚拟场景和虚拟物体；
B）获取包含人体对象的3D场景的深度图；
C）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；
D）针对每个身体部位，根据获取的深度图执行以下个性化处理：
通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，
将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应于选择的性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，第一特征球体的半径通过第一圆柱体的长度乘以一个比例系数而得。同理第二特征球体的半径也通过第二圆柱体的长度乘以一个比例系数而得。该两个比例系数必须相同，并且该比例系数应该选取以保证每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，
通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，
E）根据在步骤D）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型；
F）加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像；
G）输出生成的虚拟图像。

10.  如权利要求9所述的个性化人体显示方法，其特征在于，在步骤D）中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。

11.  如权利要求10所述的个性化人体显示方法，其特征在于，在步骤D）中，通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。

12.  如权利要求11所述的个性化人体显示方法，其特征在于，步骤E）还包括：对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。

13.  如权利要求12所述的个性化人体显示方法，其特征在于，所述3D标准人体模型还标注有包括各个身体部位的控制点，在步骤E）中产生的个性化人体模型也携带各个身体部位的控制点，并且在步骤F）中，根据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。

14.  如权利要求13所述的个性化人体显示方法，其特征在于，步骤C）还包括：从获取的深度图检测人体对象的位置以及姿态。

15.  如权利要求14所述的个性化人体显示方法，其特征在于，在步骤F）中，还根据在检测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。

16.  如权利要求9-15中任一项所述的个性化人体显示方法，其特征在于，
步骤B）还包括：获取所述3D场景的彩色图像，
步骤C）还包括：从获取的彩色图像检测人体对象各个部位的色彩特征，
在步骤F）中，还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图像。

17.  如权利要求16所述的个性化人体显示方法，还包括：对生成的虚拟图像进行渲染，以生成视觉合理的虚拟场景图像。

18.  一种增强现实中执行个性化人体显示的图像处理系统，包括：
输出/输出单元，用于通过与用户交互接收增强现实的虚拟场景和虚拟物 体，并且输出虚拟物体和人体对象结合的虚拟图像；
深度传感器，用于获取包含人体对象的3D场景的深度图；
人体检测和处理单元，用于从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；
人体个性化处理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体部位执行个性化处理，以产生人体对象的个性化模型；
虚拟场景加载单元，用于加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像；
其中，人体个性化处理单元首先针对每个身体部位，执行以下处理：
通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，
将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，
通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，
人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。

19.  如权利要求18所述的图像处理系统，其特征在于，人体个性化处理单元针对每个身体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。

20.  如权利要求19所述的图像处理系统，其特征在于，人体个性化处理单元通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和 第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。

21.  如权利要求20所述的图像处理系统，其特征在于，人体个性化处理单元还对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。

22.  如权利要求21所述的图像处理系统，其特征在于，所述3D标准人体模型还标注有包括各个身体部位的控制点，人体个性化处理单元产生的个性化人体模型也携带各个身体部位的控制点，并且虚拟场景加载单元根据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。

23.  如权利要求22所述的图像处理系统，其特征在于，人体检测和处理单元还从获取的深度图检测人体对象的位置以及姿态。

24.  如权利要求23所述的图像处理系统，其特征在于，虚拟场景加载单元还根据在检测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。

25.  如权利要求18-24中任一项所述的图像处理系统，还包括：光感传感器，用于获取所述3D场景的彩色图像，
其中，人体检测和处理单元还从获取的彩色图像检测人体对象各个部位的色彩特征，虚拟场景加载单元还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图像。

26.  如权利要求25所述的图像处理系统，还包括：渲染单元，用于对生成的虚拟图像进行渲染，以生成视觉合理的虚拟场景图像。

说明书图像处理方法、个性化人体显示方法及其图像处理系统
技术领域
本申请涉及一种3D人体模型个性化技术，尤其涉及一种从包括人体对象的3D场景的深度图构建所述人体对象的人性化模型的图像处理方法、一种个性化人体显示方法以及使用所述方法的系统。
背景技术
人体模型的个性化（personal human model）是一种新的人机交互技术，这种技术可以使得用户在增强现实(AR)中获得更加逼真的用户体验。在增强现实的场景中，系统构建一个虚拟的物理世界让使用者置身其中，而使用者可以突破自己所处的空间和时间限制获得系统提供的任意体验，让使用者感受到身临其境的感觉。随着增强现实应用的不断推广，许多应用模式都需要获得用户精确的体型数据，用于实现场景中更加精细的交互体验。而人体模型的个性化使得使用者在虚拟场景中获得更加逼真的感觉，让虚拟场景中的用户与现实中的用户具有一样的体型、动作甚至表情，每个虚拟场景中的行为动作都能实现与现实中的动作近乎一致的交互结果，更好地推广增强现实的应用范围。
人体模型的个性化在增强现实中是非常具有推广需求的，如球类的运动、格斗类游戏等，都需要获取用户的体格数据来形成对应的交互信息。而在虚拟试衣的应用模式中，人体模型的个性化显得尤为必须。虚拟试衣是使用了增强现实来实现的一种新的服饰消费者的购买体验方式，它既可以保留线上购买的方便快捷特点，又能实现线下购买亲身试穿的完美商品体验。它通过一个利用增强现实实现的虚拟试衣场景来把3D的服饰加载到用户身上，并通过体感操作形式来实现交互。而用户个性化体型数据能使得虚拟的服饰更加合身，以获得更好的视觉效果和穿着体验。
在增强现实中，个性化的人体模型可以使得用户获得更加精细准确的交互体验，使得在虚拟场景中的模型与用户自身具有相同的体型体格等三维数据，如身高、臂长、胸围等。如何在现实场景中估计出这些数据并在虚拟场 景中换算成相应合理的模型数据是个性化人体模型的主要问题。
在用户体型数据获取中，专利WO2012123346通过要求用户摆出特定的姿势，从而拍出相应的人体二维轮廓图，在轮廓图中定义不同部位的估计数据，利用这些数据来表示人体的不同体型。专利US20110298897则通过一个立体的摄像头阵列来扫描出一个三维度量数据，从而完整获取人体的整个体型。
而在虚拟场景的模型构建中，专利WO2012123346和US20110298897都是通过预存多个具有标准体型的人体模型来实现相应用户的模型个性化。将获取的用户体型数据与预存储的所有人体模型的体型数据进行比较，提取出最近似的模型作为用户模型，实现个性化定制。专利US20030101105则避开了用户体型获取的过程，在其描述的试衣系统中，当用户选取了相应的服饰时，系统将选取一个最适合此服饰的体型来用作用户模型，从而实现不同服饰的人体模型个性化。
首先将现实场景中用户的体型数据化，然后将虚拟场景中的人体模型参数化，并建立两组数据的一种一一对应关系，这是实现一个完整的人体模型个性化过程的主要方法。
在人体模型的个性化过程中，上述的多种方法都具有相应的局限性。专利WO2012123346通过人体的二维轮廓图来获取体型数据，这要求用户能摆出特定的姿势，这附加的要求对交互体验的复杂性有所增加，而专利US20110298897采用立体摄像头阵列来获取数据是一种非常繁琐复杂的方法。在虚拟模型构建中，专利WO2012123346和US20110298897都使用预存的特定模型，这种方法并没有实现完全的用户个性化，因为系统存储的模型是有限的。
专利US20030101105则是针对特定的虚拟试衣系统的应用而实现的个性化模型，该个性化过程并没有依据人的体型来实现，方法并不具备通用性。
发明内容
本发明的目的在于提供一种产生3D个性化人体模型的图像处理方法以及系统，通过从包含人体对象的深度图提取人体对象的各个身体部位，并且对所述各个身体部位进行个性化缩放来产生3D个性化人体模型。
本发明的目的在于提供一种增强现实中的个性化人体显示方法以及系统， 通过从包含人体对象的深度图提取人体对象的各个身体部位，并且对所述各个身体部位进行个性化缩放来产生3D个性化人体模型，将增强现实的虚拟场景和虚拟物体与所述个性化人体模型进行结合并展现，从而在增强现实场景中逼真地显示人体对象。
根据本发明的一方面，提供一种用于产生个性化人体模型的图像处理方法，所述图像处理方法包括：A）获取包含人体对象的3D场景的深度图；B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；C）针对每个身体部位，根据获取的深度图执行以下个性化处理：C-1）通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度；C-2）将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间；C-3）通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例；D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
优选地，在步骤C-1）中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
优选地，在步骤C-3）中，通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
优选地，步骤D）还包括：对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
根据本发明的另一方面，提供一种用于产生个性化人体模型的图像处理 系统，包括：深度传感器，用于获取包含人体对象的3D场景的深度图；人体检测和处理单元，从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；人体个性化处理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体部位执行个性化处理，以产生人体对象的个性化模型；其中，人体个性化处理单元首先针对每个身体部位，执行以下处理：通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
优选地，人体个性化处理单元针对每个身体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
优选地，人体个性化处理单元通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
优选地，人体个性化处理单元还对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
根据本发明的另一方面，提供一种增强现实中的个性化人体显示方法，所述方法包括：A）通过与用户交互确定增强现实的虚拟场景和虚拟物体；B）获取包含人体对象的3D场景的深度图；C）从获取的深度图提取人体对象的 人体轮廓以及包括各个身体部位点的骨架模型；D）针对每个身体部位，根据获取的深度图执行以下个性化处理：通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应于选择的性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，第一特征球体的半径通过第一圆柱体的长度乘以一个比例系数而得。同理第二特征球体的半径也通过第二圆柱体的长度乘以一个比例系数而得。该两个比例系数必须相同，并且该比例系数应该选取以保证每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，E）根据在步骤D）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型；F）加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像；G）输出生成的虚拟图像。
优选地，在步骤D）中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
优选地，在步骤D）中，通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
优选地，步骤E）还包括：对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
优选地，所述3D标准人体模型还标注有包括各个身体部位的控制点，在步骤E）中产生的个性化人体模型也携带各个身体部位的控制点，并且在步骤F）中，根据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。
优选地，步骤C）还包括：从获取的深度图检测人体对象的位置以及姿 态。
优选地，在步骤F）中，还根据在检测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。
优选地，步骤B）还包括：获取所述3D场景的彩色图像，步骤C）还包括：从获取的彩色图像检测人体对象各个部位的色彩特征，在步骤F）中，还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图像。
优选地，所述的个性化人体显示方法还包括：对生成的虚拟图像进行渲染，以生成视觉合理的虚拟场景图像。
根据本发明的另一方面，提供一种增强现实中执行个性化人体显示的图像处理系统，包括：输出/输出单元，用于通过与用户交互接收增强现实的虚拟场景和虚拟物体，并且输出虚拟物体和人体对象结合的虚拟图像；深度传感器，用于获取包含人体对象的3D场景的深度图；人体检测和处理单元，用于从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；人体个性化处理单元，用于根据获取的深度图对人体检测和处理单元提取的各个身体部位执行个性化处理，以产生人体对象的个性化模型；虚拟场景加载单元，用于加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像；其中，人体个性化处理单元首先针对每个身体部位，执行以下处理：通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度，将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间，通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例，人体个性化处理单元还根据计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
优选地，人体个性化处理单元针对每个身体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
优选地，人体个性化处理单元通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
优选地，人体个性化处理单元还对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
优选地，所述3D标准人体模型还标注有包括各个身体部位的控制点，人体个性化处理单元产生的个性化人体模型也携带各个身体部位的控制点，并且虚拟场景加载单元根据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。
优选地，人体检测和处理单元还从获取的深度图检测人体对象的位置以及姿态。
优选地，虚拟场景加载单元还根据在检测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。
优选地，所述的图像处理系统还包括：光感传感器，用于获取所述3D场景的彩色图像，其中，人体检测和处理单元还从获取的彩色图像检测人体对象各个部位的色彩特征，虚拟场景加载单元还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图像。
优选地，所述的图像处理系统还包括：渲染单元，用于对生成的虚拟图像进行渲染，以生成视觉合理的虚拟场景图像。
附图说明
通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：
图1是示出分别通过光学传感器和深度传感器获得的人体轮廓的示意图；
图2示意性地示出根据本发明的示例性实施例产生的个性化人体模型的粗度标示；
图3是示出根据本发明的示例性实施例的产生个性化人体模型的图像处理方法的流程图；
图4是示出根据本发明的示例性实施例的增强现实中的个性化人体显示方法的流程图；
图5和图6是示出根据本发明的示例性实施例对身体部位的表示以及放缩比例的计算的示意图；
图7是示出人体各个部位的个性化处理后出现的蒙皮不自然过渡的示意图；
图8和图9是示出根据本发明的示例性实施例的对相邻部位执行平滑处理的示意图；
图10是示出根据本发明的示例性实施例的图像处理系统的逻辑框图。
具体实施方式
以下，将参照附图来详细说明本发明的实施例。
3D场景的深度图是指场景的二维像素矩阵表示，其中每个像素分别对应于场景中的一个位置，并且分别具有指示从某一参考位置到各场景位置的距离的像素值。因此，深度图表达的是场景中目标的形貌信息，而不是亮度和/或色彩。PCT国际申请WO2007/043035A1中公开了一种产生场景的深度图的方法。可使用深度图来分割出场景中的物体。图1分别示出通过光学传感器和深度传感器获得的人体轮廓。
本发明提供一种通过包含人体对象的3D场景的深度图对所述人体对象的各个部位进行个性化定制，以产生个性化的人体模型的图像处理方法。在所述图像处理方法中，将每个人体部位看作是一个圆柱体或接近圆柱体，对于从所述3D场景的深度图提取的每个身体部位拟合出所述身体部位的圆柱体曲面来计算器半径和长度，并且针对提取的每个身体部位以及预存的标准人体模型的相应部位计算特征球体，分别置于所述身体部位中，以计算所述身体部位的放缩比例，从而对标准人体模型进行个性化定制。图2示意性地示出根据本发明的示例性实施例产生的个性化人体模型的粗度标示。本发明还提供使用上述技术的增强现实中的个性化人体显示方法。本发明还提供一 种使用所述方法的图像处理系统。
图3是示出根据本发明的示例性实施例的产生个性化人体模型的图像处理方法的流程图。
参照图3，在步骤S310，图像处理系统获取包含人体对象的3D场景的深度图。
在步骤S320，图像处理系统从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型。
在步骤S330，图像处理系统对提取的各个身体部位计算各个维度上的放缩比例。
首先，图像处理系统针对提取的每个身体部位，根据获取的深度图执行以下个性化处理：
1、通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度。
具体地，使用圆柱体cylinder(r,h)表示人体的每个部位，其中r为圆柱体的半径，h为圆柱体的长度。而对于某些与圆柱体特性相差较远的人体部位如躯干、头部等，计算表示所述圆柱体与标准圆柱体偏差的约束参数，表示为cylinder(r,h,a)，其中，a为约束参数，其中，值为0的约束参数表示符合标准圆柱体。恢复人体体型即对人体每个部位的参数r、h以及a的测量。从深度图像可以获取人体表面的点阵信息，每一点可用p(x,y,d)表示，其中(x,y)为人体点的位置信息，而d表示人体点的深度信息，从而表示出人体点在三维空间中的位置信息。同一个部位的点阵满足以下关系：cylinder(r,h,a)=p_i(x,y,d)，其中，0≤i≤N，N为这一部位的表面点数量。通过所有点的位置信息组成的方程组拟合出圆柱体型曲面,计算出相应的参数。这里，将为提取的每个身体部位拟合出的圆柱体称为第一圆柱体。通过所有点的位置信息组成的方程组拟合出圆柱体型曲面,计算出相应的参数。由于立体物体的平面投影问题，对于人体部位只能获取一个投影面的表面点，拟合出的结果如图5中的“表面”所示，只有圆柱体的一小部分表面点；通过计算出的半径及长度参数则可以完全恢复出一个圆柱体型，如图5中的“完整形状”所示。
2、将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的
第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间。也就是说，通过使用相同的比例系数来分别求得两个特征球体的半径，以计算每个身体部位的缩放比例。这里，每个特征球体的半径R满足以下条件：
R(圆柱体)<R(特征球体)<H(圆柱体)，
其中，R(圆柱体)为圆柱体的截面半径，H(圆柱体)为圆柱体的长度。
假设cylinder1和cylinder2分别为第一圆柱体和第二圆柱体，sphere1和sphere2分别为第一特征球体和第二特征球体。当分别确定了第一特征球体和第二特征球体后，分别将各特征球体置于相应的圆柱体内以产生相应的截断几何体：
cylinder1&sphere1=truncation1
cylinder2&sphere2=truncation2
其中，truncation1和truncation2分别为第一截断几何体第二截断几何体，&表示几何体的相交截断过程。
3、通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例。可使用不同方法对两个截断几何体进行比较。
根据本发明的示例性实施例，通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。

其中，表示按向量方向进行投影。
图6示出将表示身体部位的圆柱体投射到方向平面取得截断几何体的示意图。
通过上述对每个提取的身体部位的处理，求得每个身体部位的放缩比例。
此后，在步骤S340，图像处理系统根据前述计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。具体地，图像 处理系统通过将所述3D标准人体模型的各个部位按照各个维度上的放缩比例来调整所述部位的长度以及粗度。
但是，经过缩放调整后，如果不同身体部位的放缩比例不同，产生的个性化人体模型将会出现一些错位的现象。不同部位连接的关节点部位会由于不同的粗度放缩比例而出现蒙皮的不连续效果。如图7中所示，其上臂和小臂的连接处由于上臂和小臂的粗度不同而产生了一个不平滑的连接。
根据本发明的优选实施例，在步骤S350，图像处理系统对出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照上述统一放缩比例来对所述两个相邻身体部位进行放缩，从而对所述相邻身体部位执行平滑处理。
图8示意性地示出对相邻部位执行的平滑处理，其中一个三角形表示一个部位的骨架，而外层表皮表示部位蒙皮。左图示出原始的标准人体模型中两个相邻的身体部位的模型，这两个部位具有相同的放缩比例R。在对所述两个部位分别进行放缩后，两个部位的骨架具有不同的放缩比例R1和R2，如果对两个部位的蒙皮同样使用不同的放缩比例R1和R2，则会由于连接处尺寸不同而出现了不连续的蒙皮跳变现象，图8中间的图示出传统的蒙皮效果。本发明为了实现蒙皮的自然过渡而添加了再蒙皮过程，对两个连接部位蒙皮的放缩比例进行了重新的定义，设初始两个部位蒙皮的放缩比例为R1和R2，则新的放缩比例为：
Rmew＝w1*R1+w2*R2
这样两个连接部位上的不同位置的放缩比例都可以进行相应的计算，其中w1和w2分别为两个部位的放缩比例的加权系数。根据相应位置与连接部位的距离来设置加权，如图9中的（a）所示，w1和w2的值要满足w1+w2＝1。初始的缩放比例R1和R2以及新的缩放比例Rnew如图9中的（b）所示，其中R1和R2之间的跳变被加权平滑成了Rnew的渐变。
图8中的右图示出了本发明的蒙皮平滑处理的效果，通过平滑连接部位的蒙皮放缩比例使得连接部位的头节点和尾节点之间的蒙皮平滑过渡，从而实现良好的视觉效果。
根据本发明的可算实施例，在步骤S360，图像处理系统输出产生的个性化人体模型。
通过上述参照图3描述的示例性实施例可以看出，本发明的产生个性化 人体模型的图像处理方法对从人体对象深度图提取的各个身体部位计算其相对于标准的人体模型的相应部位在各个维度上的放缩比例并进行放缩，从而对3D人体模型进行个性化定制。在此基础上，还可对由于放缩比例不同而产生错位的相邻身体部位进行平滑处理，优化个性化人体模型的效果。
图4示出根据本发明的示例性实施例的增强现实中的个性化人体显示方法。
参照图4，在步骤S410，图像处理系统通过与用户交互确定增强现实的虚拟场景和虚拟物体。
在步骤S420，图像处理系统获取包含人体对象的3D场景的深度图。
在步骤S430，图像处理系统从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型。
在步骤S440，图像处理系统针对每个身体部位，根据获取的深度图执行以下个性化处理：通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度；将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应于选择的性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，第一特征球体的半径通过第一圆柱体的长度乘以一个比例系数而得。同理第二特征球体的半径也通过第二圆柱体的长度乘以一个比例系数而得。该两个比例系数必须相同，并且该比例系数应该选取以保证每个特征球体的半径在其放置的圆柱体的截面半径和长度之间；通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例。
根据本发明的优选实施例，图像处理系统还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
根据本发明的优选实施例，图像处理系统通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
此后，在步骤S450，图像处理系统根据在步骤S440计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标 准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
步骤S440和步骤S450与图3中的步骤S330和步骤S340相似，并且根据本发明的优选实施例，图像处理系统在执行步骤S450后，还可执行步骤S350，以对个性化的人体模型执行平滑处理。
此后，在步骤S460，图像处理系统加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像。
根据本发明的优选实施例，在步骤S470，图像处理系统对生成的虚拟图像进行渲染，以生成视觉合理的虚拟场景图像。
在步骤S480，图像处理系统显示或输出生成的虚拟图像。
根据本发明的优选实施例，所述3D标准人体模型还标注有包括各个身体部位的控制点，在步骤S450中产生的个性化人体模型也携带各个身体部位的控制点，并且在步骤S460中，根据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。
根据本发明的优选实施例，图像处理系统在步骤S430，还从获取的深度图检测人体对象的位置以及姿态。在步骤S460中，图像处理系统还根据在检测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。
根据本发明的优选实施例，在步骤S420，图像处理系统还获取所述3D场景的彩色图像；在步骤S430，图像处理系统还从获取的彩色图像检测人体对象各个部位的色彩特征；在步骤S460中，图像处理系统还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图像。
通过上述参照图4描述的示例性实施例可以看出，本发明的增强现实中的个性化人体显示方法对从人体对象深度图提取的各个身体部位计算其相对于标准的人体模型的相应部位在各个维度上的放缩比例并进行放缩，从而对3D人体模型进行个性化定制，并且将个性化的人体模型与增强显示的虚拟场景和虚拟物体结合产生增强现实中逼真的个性化显示效果。此外，本发明还能够获取3D场景的彩色图像，跟踪人体对象的位置、姿态，并且在增强现实中将3D场景、人体对象的位置和姿态反映出来。
图10是示出根据本发明的示例性实施例的图像处理系统的逻辑框图。
参照图10，本发明的图像处理系统包括：深度传感器120，用于获取包含人体对象的3D场景的深度图；人体检测和处理单元130，从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；人体个性化处理单元140，用于根据获取的深度图对人体检测和处理单元提取的各个身体部位执行个性化处理，以产生人体对象的个性化模型。
人体个性化处理单元140首先针对每个身体部位，执行以下处理：通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度；将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，第一特征球体的半径通过第一圆柱体的长度乘以一个比例系数而得。同理第二特征球体的半径也通过第二圆柱体的长度乘以一个比例系数而得。该两个比例系数必须相同，并且该比例系数应该选取以保证每个特征球体的半径在其放置的圆柱体的截面半径和长度之间；通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例。此后，人体个性化处理单元140还根据计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。
根据本发明的优选实施例，人体个性化处理单元140针对每个身体部位还计算表示所述第一圆柱体与标准圆柱体偏差的约束参数，其中，值为0的约束参数表示符合标准圆柱体。
根据本发明的优选实施例，人体个性化处理单元140通过分别将第一截断几何体和第二截断几何体投影到某个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在所述投影平面各维度上的放缩比例。
根据本发明的优选实施例，人体个性化处理单元140还对产生的个性化人体模型中出现不连续效果的两个相邻身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。
根据本发明的可选实施例，所述图像处理系统用于增强现实的图像处理。 在这种情况下，图像处理系统还包括：输出/输出单元110，用于通过与用户交互接收增强现实的虚拟场景和虚拟物体，并且输出虚拟物体和人体对象结合的虚拟图像；虚拟场景加载单元150，用于加载确定的虚拟物体和虚拟场景，并且在虚拟场景中使用所述人体对象的个性化人体模型生成虚拟物体与所述人体对象结合的虚拟图像。
根据本发明的优选实施例，所述3D标准人体模型还标注有包括各个身体部位的控制点，人体个性化处理单元140产生的个性化人体模型也携带各个身体部位的控制点，并且虚拟场景加载单元150根据所述身体部位的控制点将虚拟物体与产生的个性化人体模型结合。
根据本发明的可选实施例，人体检测和处理单元130还从获取的深度图检测人体对象的位置以及姿态。
根据本发明的优选实施例，虚拟场景加载单元150还根据在检测到的人体对象的位置并且以检测的姿态生成虚拟物体与所述人体对象结合的虚拟图像。
根据本发明的优选实施例，所述图像处理系统还包括：光感传感器170，用于获取所述3D场景的彩色图像。其中，人体检测和处理单元130还从获取的彩色图像检测人体对象各个部位的色彩特征，虚拟场景加载单元150还根据检测的各个部位的色彩特征在获取的彩色图像的场景或虚拟场景中生成虚拟物体与所述人体对象结合的虚拟图像。
根据本发明的优选实施例，所述的图像处理系统还包括：渲染单元160，用于对生成的虚拟图像进行渲染，以生成视觉合理的虚拟场景图像。
本发明的产生个性化人体模型的图像处理方法以及图像处理系统对从人体对象深度图提取的各个身体部位计算其相对于标准的人体模型的相应部位在各个维度上的放缩比例并进行放缩，从而对3D人体模型进行个性化定制。在此基础上，还可对由于放缩比例不同而产生错位的相邻身体部位进行平滑处理，优化个性化人体模型的效果。
在此基础上，本发明的增强现实中的个性化人体显示方法以及图像处理系统通过上述方法对3D人体模型进行个性化定制，并且将个性化的人体模型与增强显示的虚拟场景和虚拟物体结合产生增强现实中逼真的个性化显示效果。此外，本发明还能够获取3D场景的彩色图像，跟踪人体对象的位置、姿态，并且在增强现实中将3D场景、人体对象的位置和姿态反映出来。
尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种修改和变换。