三维人体模型的启发式编辑方法及装置.pdf

《三维人体模型的启发式编辑方法及装置.pdf》由会员分享，可在线阅读，更多相关《三维人体模型的启发式编辑方法及装置.pdf（7页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010304897.2 (22)申请日 2020.04.17 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 徐枫吕军锋杨东 (74)专利代理机构 北京清亦华知识产权代理事 务所(普通合伙) 11201 代理人 王艳斌 (51)Int.Cl. G06T 19/20(2011.01) G06T 7/13(2017.01) (54)发明名称 三维人体模型的启发式编辑方法及装置 (57)摘要 本发明公开了一种三维人体模型的启发式 编辑方法及装置，。

2、 其中， 该方法包括以下步骤： 获 取待编辑的三维人体模型； 利用曲面参数化方法 将待编辑的三维人体模型转换为几何图像； 处理 几何图像对二维神经网络进行训练， 输出生成几 何图像， 并将生成几何图像反转化为三维信息。 该方法仅需要选取顶点， 无需定义草图面， 摆脱 了视角的限制， 简化了编辑步骤。 权利要求书1页 说明书4页 附图1页 CN 111583422 A 2020.08.25 CN 111583422 A 1.一种三维人体模型的启发式编辑方法， 其特征在于， 包括以下步骤： 步骤S1， 获取待编辑的三维人体模型； 步骤S2， 利用曲面参数化方法将所述待编辑的三维人体模型转换为几何图。

3、像； 以及 步骤S3， 处理所述几何图像对二维神经网络进行训练， 输出生成几何图像， 并将所述生 成几何图像反转化为三维信息。 2.根据权利要求1所述的三维人体模型的启发式编辑方法， 其特征在于， 所述步骤S3包 括： 通过边缘检测算法提取所述几何图形的线条图像， 并随机生成掩码图像； 对所述几何图像和所述掩码图像进行掩码计算， 得到二维残缺图像； 利用所述二维残缺图像对所述二维神经网络进行训练。 3.根据权利要求1所述的三维人体模型的启发式编辑方法， 其特征在于， 所述步骤S1还 获取用户选定的编辑区。 4.根据权利要求1所述的三维人体模型的启发式编辑方法， 其特征在于， 在获得所述几 何图。

4、像前， 需在用户选定的编辑区内选取一条或多条想要变形的顶点链， 利用所述顶点链 生成线条图像。 5.根据权利要求3所述的三维人体模型的启发式编辑方法， 其特征在于， 根据所述用户 选定的编辑区映射出掩码图像。 6.一种三维人体模型的启发式编辑装置， 其特征在于， 包括： 获取模块， 用于获取待编辑的三维人体模型； 转换模块， 用于利用曲面参数化方法将所述待编辑的三维人体模型转换为几何图像； 以及 训练模块， 用于处理所述几何图像对二维神经网络进行训练， 输出生成几何图像， 并将 所述生成几何图像反转化为三维信息。 7.根据权利要求6所述的三维人体模型的启发式编辑装置， 其特征在于， 所述训练模。

5、块 包括： 提取单元， 用于通过边缘检测算法提取所述几何图形的线条图像， 并随机生成掩码图 像； 计算模块， 用于对所述几何图像和所述掩码图像进行掩码计算， 得到二维残缺图像； 训练单元， 用于利用所述二维残缺图像对所述二维神经网络进行训练。 8.根据权利要求6所述的三维人体模型的启发式编辑装置， 其特征在于， 所述获取模块 还用于获取用户选定的编辑区。 9.根据权利要求6所述的三维人体模型的启发式编辑装置， 其特征在于， 在获得所述几 何图像前， 需在用户选定的编辑区内选取一条或多条想要变形的顶点链， 利用所述顶点链 生成线条图像。 10.根据权利要求8所述的三维人体模型的启发式编辑装置， 。

6、其特征在于， 根据所述用 户选定的编辑区映射出掩码图像。 权利要求书 1/1 页 2 CN 111583422 A 2 三维人体模型的启发式编辑方法及装置 技术领域 0001 本发明涉及计算机视觉、 计算机图形学技术领域， 特别涉及一种三维人体模型的 启发式编辑方法及装置。 背景技术 0002 三维人体模型的编辑是计算机图形学领域的一个重要问题。 但三维人体模型的编 辑成本往往很高， 传统的三维模型编辑方法步骤繁琐， 需要专业的模型动画师完成， 并且费 时费力。 0003 近年来， 深度神经网络的快速发展为很多 “从无到有” 的问题提供了一种解决思 路。 但三维神经网络的成熟度不如二维神经网络。

7、， 因此， 三维问题还无法像二维问题那样用 基于神经网络的方法得到解决。 发明内容 0004 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。 0005 为此， 本发明的一个目的在于提出一种三维人体模型的启发式编辑方法， 该方法 可以大大简化三维人体模型的编辑。 0006 本发明的另一个目的在于提出一种三维人体模型的启发式编辑装置。 0007 为达到上述目的， 本发明一方面实施例提出了三维人体模型的启发式编辑方法， 包括以下步骤： 步骤S1， 获取待编辑的三维人体模型； 步骤S2， 利用曲面参数化方法将所述 待编辑的三维人体模型转换为几何图像； 步骤S3， 处理所述几何图像对二维神经网。

8、络进行 训练， 输出生成几何图像， 并将所述生成几何图像反转化为三维信息。 0008 本发明实施例的三维人体模型的启发式编辑方法， 利用曲面参数化和深度神经网 络技术， 人为提供启发式的草图， 生成带有相应细节的人体模型， 大大简化了三维人体模型 的编辑。 0009 另外， 根据本发明上述实施例的三维人体模型的启发式编辑方法还可以具有以下 附加的技术特征： 0010 进一步地， 在本发明的一个实施例中， 所述步骤S3包括： 通过边缘检测算法提取所 述几何图形的线条图像， 并随机生成掩码图像； 对所述几何图像和所述掩码图像进行掩码 计算， 得到二维残缺图像； 利用所述二维残缺图像对所述二维神经网。

9、络进行训练。 0011 进一步地， 在本发明的一个实施例中， 所述步骤S1还获取用户选定的编辑区。 0012 进一步地， 在本发明的一个实施例中， 在获得所述几何图像前， 需在用户选定的编 辑区内选取一条或多条想要变形的顶点链， 利用所述顶点链生成线条图像， 即编辑草图。 0013 进一步地， 在本发明的一个实施例中， 根据所述用户选定的编辑区映射出掩码图 像。 0014 为达到上述目的， 本发明另一方面实施例提出了三维人体模型的启发式编辑装 置， 包括： 获取模块， 用于获取待编辑的三维人体模型； 转换模块， 用于利用曲面参数化方法 说明书 1/4 页 3 CN 111583422 A 3 。

10、将所述待编辑的三维人体模型转换为几何图像； 训练模块， 用于处理所述几何图像对二维 神经网络进行训练， 输出生成几何图像， 并将所述生成几何图像反转化为三维信息。 0015 本发明实施例的三维人体模型的启发式编辑装置， 利用曲面参数化和深度神经网 络技术， 人为提供启发式的草图， 生成带有相应细节的人体模型， 大大简化了三维人体模型 的编辑。 0016 另外， 根据本发明上述实施例的三维人体模型的启发式编辑装置还可以具有以下 附加的技术特征： 0017 进一步地， 在本发明的一个实施例中， 所述训练模块包括： 提取单元， 用于通过边 缘检测算法提取所述几何图形的线条图像， 并随机生成掩码图像；。

11、 计算模块， 用于对所述几 何图像和所述掩码图像进行掩码计算， 得到二维残缺图像； 训练单元， 用于利用所述二维残 缺图像对所述二维神经网络进行训练。 0018 进一步地， 在本发明的一个实施例中， 所述获取模块还用于获取用户选定的编辑 区。 0019 进一步地， 在本发明的一个实施例中， 在获得所述几何图像前， 需在用户选定的编 辑区内选取一条或多条想要变形的顶点链， 利用所述顶点链生成线条图像即编辑草图。 0020 进一步地， 在本发明的一个实施例中， 根据所述用户选定的编辑区映射出掩码图 像。 0021 本发明附加的方面和优点将在下面的描述中部分给出， 部分将从下面的描述中变 得明显， 。

12、或通过本发明的实践了解到。 附图说明 0022 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 明显和容易理解， 其中： 0023 图1为根据本发明一个实施例的三维人体模型的启发式编辑方法的流程图； 0024 图2为根据本发明一个实施例的三维人体模型的启发式编辑装置的结构示意图。 具体实施方式 0025 下面详细描述本发明的实施例， 实施例的示例在附图中示出， 其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。 下面通过参考附图描 述的实施例是示例性的， 旨在用于解释本发明， 而不能理解为对本发明的限制。 0026 下面参照附图描述根据本发明。

13、实施例提出的三维人体模型的启发式编辑方法及 装置， 首先将参照附图描述根据本发明实施例提出的三维人体模型的启发式编辑方法。 0027 需要说明的是， 所谓启发式编辑方法， 指的是编辑者为编辑器提供一种 “建议” 。 编 辑器生成的结果不一定与 “建议” 完全一致， 但会朝着 “建议” 的方向进行相应的修改。 即在 舍弃一定编辑准确度的情况下， 大大简化编辑的流程。 0028 图1是本发明一个实施例的三维人体模型的启发式编辑方法的流程图。 0029 如图1所示， 该三维人体模型的启发式编辑方法包括以下步骤： 0030 在步骤S1中， 获取待编辑的三维人体模型。 0031 进一步地， 步骤S1还获。

14、取用户选定的编辑区， 其中， 本发明实施例可以根据用户输 说明书 2/4 页 4 CN 111583422 A 4 入的草图， 对选定的编辑区域的三维几何进行修改。 0032 在步骤S2中， 利用曲面参数化方法将待编辑的三维人体模型转换为几何图像。 0033 可以理解的是， 当前三维神经网络与二维神经网络相比成熟度不高。 利用曲面参 数化的方法将三维信息转化为易于处理的二维信息， 便于神经网络进行处理。 可逆的转化 方式又使得信息在转化前后不会有过大的丢失。 0034 进一步地， 在本发明的一个实施例中， 在获得几何图像前， 需在用户选定的编辑区 内选取一条或多条想要变形的顶点链， 利用顶点链。

15、生成线条图像。 0035 需要说明的是， 传统的三维编辑方法往往需要多次选取不同的草图面进行不同视 角上的编辑， 本发明实施例仅需要通过选取顶点链(由按一定顺序连接的多个顶点组成)的 方式自动生成线条图像(即草图)， 无需定义草图面， 摆脱了视角的限制， 简化了编辑步骤。 0036 在步骤S3中， 处理几何图像对二维神经网络进行训练， 输出生成几何图像， 并将生 成几何图像转化为三维信息。 0037 具体地， 通过边缘检测算法提取几何图形的线条图像， 并随机生成掩码图像； 对几 何图像和掩码图像进行掩码计算， 得到二维残缺图像； 利用二维残缺图像对二维神经网络 进行训练。 向训练好的二维神经网。

16、络输入待编辑的三维人体模型， 输出生成几何图像， 将该 二维信息反转化为三维信息。 其中， 根据用户选定的编辑区随机映射出掩码图像。 0038 需要说明的是， 本发明实施例只编码人体模型(含衣物细节)相对于人体模型(裸 体)三维坐标的差值。 人体模型在xyz三轴上的数值范围差异过大， 通过只编码差值的方式 可以将数值范围进行统一， 保留了更多细节信息， 方便神经网络进行训练。 0039 下面结合具体示例对本发明的三维人体模型的启发式编辑方法做进一步描述。 0040 该具体示例将三维信息转换为5125123的二维图像。 3个图像通道分别用于存 储xyz维度上的信息。 由于涉及到神经网络的训练与使。

17、用， 以下步骤分为训练步骤以及使用 步骤。 0041 训练步骤1： 利用曲面参数化的方法将数据集中的人体模型(含衣物细节)相对于 人体模型(裸体)的三维坐标差值转换为5125123的二维图像(以下简称为 “几何图 像” )。 0042 训练步骤2： 利用边缘检测算法提取几何图像的5125121线条图像； 0043 训练步骤3： 随机生成5125121的掩码图像； 0044 训练步骤4： 训练一个二维神经网络， 其输入为5125123的二维残缺图像(由几 何图像与掩码图像进行掩码计算得到)和5125121的线条图像， 其输出为5125123 的生成几何图像。 训练时， 除了原几何图像与生成几何图。

18、像之间的L1损失约束外， 还利用对 抗训练技术， 通过设置一个判别网络， 将原几何图像作为正样本， 生成几何图像作为负样 本， 提高生成结果的多样性。 0045 使用步骤1： 选取需要编辑的三维人体区域； 0046 使用步骤2： 在上述编辑区域内， 选取一条或多条想要变形的顶点链(由按一定顺 序连接的多个顶点组成)； 0047 使用步骤3： 利用之前定义的曲面参数化映射， 本发明实施例会自动地将待编辑人 体模型映射为5125123的几何图像， 自动地将使用步骤1的编辑区域映射成512512 1掩码图像， 自动地将使用步骤2的顶点链映射成5125121的线条图像， 并将上述信息输 说明书 3/4。

19、 页 5 CN 111583422 A 5 入给训练好的神经网络， 输出生成几何图像； 0048 使用步骤4： 本发明实施例会自动地将网络生成的几何图像反转化为三维信息， 从 而得到生成的三维人体模型。 0049 根据本发明实施例提出的三维人体模型的启发式编辑方法， 通过曲面参数化的方 法将用户输入的三维信息转化为易于处理的二维信息， 通过二维深度神经网络处理后， 反 转化为三维信息呈现出来， 简化了繁琐的三维编辑操作， 图与视角无关， 并无线条数量限 制， 能够生成衣物的褶皱细节。 0050 其次参照附图描述根据本发明实施例提出的三维人体模型的启发式编辑装置。 0051 图2是本发明一个实施。

20、例的三维人体模型的启发式编辑装置的结构示意图。 0052 如图2所示， 该装置10包括： 获取模块100、 转换模块200和训练模块300。 0053 其中， 获取模块100用于获取待编辑的三维人体模型。 转换模块200用于利用曲面 参数化方法将待编辑的三维人体模型转换为几何图像,。 训练模块300用于处理几何图像对 二维神经网络进行训练， 输出生成几何图像， 并将生成几何图像反转化为三维信息。 0054 进一步地， 在本发明的一个实施例中， 训练模块300包括： 提取单元， 用于通过边缘 检测算法提取几何图形的线条图像， 并随机生成掩码图像； 计算模块， 用于对几何图像和掩 码图像进行掩码计。

21、算， 得到二维残缺图像； 训练单元， 用于利用二维残缺图像对二维神经网 络进行训练。 0055 进一步地， 在本发明的一个实施例中， 获取模块还用于获取用户选定的编辑区。 0056 进一步地， 在本发明的一个实施例中， 在获得几何图像前， 需在用户选定的编辑区 内选取一条或多条想要变形的顶点链， 利用顶点链生成线条图像(即编辑草图)。 0057 进一步地， 在本发明的一个实施例中， 根据用户选定的编辑区映射出掩码图像。 0058 根据本发明实施例提出的三维人体模型的启发式编辑装置， 通过曲面参数化的方 法将用户输入的三维信息转化为易于处理的二维信息， 通过二维深度神经网络处理后， 反 转化为三。

22、维信息呈现出来， 简化了繁琐的三维编辑操作， 图与视角无关， 并无线条数量限 制， 能够生成衣物的褶皱细节。 0059 此外， 术语 “第一” 、“第二” 仅用于描述目的， 而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。 由此， 限定有 “第一” 、“第二” 的特征可以明示或者 隐含地包括至少一个该特征。 在本发明的描述中，“多个” 的含义是至少两个， 例如两个， 三 个等， 除非另有明确具体的限定。 0060 在本说明书的描述中， 参考术语 “一个实施例” 、“一些实施例” 、“示例” 、“具体示 例” 、 或 “一些示例” 等的描述意指结合该实施例或示例描述的具体特。

23、征、 结构、 材料或者特 点包含于本发明的至少一个实施例或示例中。 在本说明书中， 对上述术语的示意性表述不 必须针对的是相同的实施例或示例。 而且， 描述的具体特征、 结构、 材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。 此外， 在不相互矛盾的情况下， 本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。 0061 尽管上面已经示出和描述了本发明的实施例， 可以理解的是， 上述实施例是示例 性的， 不能理解为对本发明的限制， 本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、 修改、 替换和变型。 说明书 4/4 页 6 CN 111583422 A 6 图1 图2 说明书附图 1/1 页 7 CN 111583422 A 7 。