基于计算机视觉的人脸皮肤检测系统及其实现方法.pdf

《基于计算机视觉的人脸皮肤检测系统及其实现方法.pdf》由会员分享，可在线阅读，更多相关《基于计算机视觉的人脸皮肤检测系统及其实现方法.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910167936.6 (22)申请日 2019.03.06 (71)申请人 南京七奇智能科技有限公司 地址 210046 江苏省南京市南京经济技术 开发区兴智路6号兴智科技园C栋1503 室 (72)发明人 刘志忠姜志宏袁志坚张江 宋彬彬郭亮彭辉 (74)专利代理机构 南京正联知识产权代理有限 公司 32243 代理人 王素琴 (51)Int.Cl. G06K 9/00(2006.01) (54)发明名称 一种基于计算机视觉的人脸皮肤检测系统 及其实现方法 (57)摘要 。

2、本发明公开了一种基于计算机视觉的人脸 皮肤检测系统及其实现方法， 系统包括用于引导 用户至指定位置从而获取对应用户合适大小的 人脸皮肤图像， 并展示最后人脸皮肤的检测结果 的前端系统； 用于对人脸皮肤图像做预处理， 并 基于人脸皮肤图像对对应用户的人脸皮肤进行 分类和问题检测的服务端系统； 用于接收服务器 系统中人脸皮肤分类和问题检测的结果并保存 的移动端系统； 方法首先通过视频引导用户至指 定位置， 通过摄像头采集预设大小的人脸照片， 并将人脸照片传输到服务器端； 然后由服务器对 人脸照片做预处理， 并对预处理后的人脸照片进 行人脸皮肤检测， 并记录保存记录结果； 最后移 动端系统通过移动网。

3、络访问服务器以获取用户 的皮肤检测结果以及历史记录。 权利要求书2页 说明书6页 附图4页 CN 109948476 A 2019.06.28 CN 109948476 A 1.一种基于计算机视觉的人脸皮肤检测方法， 其特征在于， 所述方法包括： S1、 通过视频引导用户到达摄像头前的指定位置， 通过摄像头采集预设大小的人脸照 片， 并将所述人脸照片传输到服务器端； S2、 由所述服务器对所述人脸照片做预处理， 并对预处理后的所述人脸照片进行人脸 皮肤检测， 并记录保存记录结果； S3、 移动端系统通过移动网络访问服务器获取所述记录结果和历史记录。 2.如权利要求1所述的基于计算机视觉的人脸皮。

4、肤检测方法， 其特征在于， 步骤S1中包 括： S11、 通过所述摄像头的实时视频， 检测到人脸的初始位置， 并通过所述实时视频引导 用户从初始位置调整到指定位置； S12、 设定所述指定位置的人脸大小和位置的比例关系， 并判断获取的当前用户的人脸 大小和位置是否与所述指定位置的设置是否合适， 若不合适， 则重复步骤S12， 否则， 转到步 骤S13； S13、 通过所述摄像头采集当前用户人脸的实时图像， 并对所述实时图像进行模糊度检 查。 3.如权利要求2所述的基于计算机视觉的人脸皮肤检测方法， 其特征在于， 步骤S2包 括： S21、 所述服务器基于采集得到的当前用户对应的所述实时图像将最。

5、大人脸位置裁剪； S22、 对裁剪后的所述实时图像基于dlib进行人脸指定关键点的检测； S23、 基于S22的检测结果对裁剪后的所述实时图像进行抠图处理， 得到去除人脸隐私 信息的抠图图像， 并通过贝塞尔曲线的平滑对所述抠图图像做平滑处理； S24、 通过小波分析方法将平滑处理后的所述抠图图像的图像特征进行特征分解得到 特征图像。 4.如权利要求3所述的基于计算机视觉的人脸皮肤检测方法， 其特征在于， 步骤S3中包 括： S31、 将所述特征图像的色彩空间转换为Lab空间， 并分离Lab空间下的所述特征图像， 对所述特征图像的亮度L的像素值进行升序排序； S32、 设定肤色值的区间为(1,1。

6、00)， 按照指定比例将所述像素值的排序序列中间1/3的 平均值作为当前用户的肤色值检测结果； S33、 基于深度神经网络皮肤进行皮肤问题检测和分类： S331、 采集指定数目不同皮肤问题面部样本作为样本库， 并设定每种皮肤问题的特征 数量； S332、 基于所述深度神经网络对所述样本库中的面部样本进行训练， 得到不同种类皮 肤问题的分类参数并保存； S333、 将所述特征图像输入到所述深度神经网络中， 获取所述特征图像对应的用户的 人脸存在的图像类型即皮肤问题； S34、 根据所述实时图像的检测结果获得对应用户人脸皮肤的综合评分。 5.一种基于计算机视觉的人脸皮肤检测系统， 适用于权利要求1。

7、4任一项所述的基于 计算机视觉的人脸皮肤检测方法， 其特征在于， 所述系统包括： 权利要求书 1/2 页 2 CN 109948476 A 2 前端系统， 用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图像， 并 展示最后的人脸皮肤的检测结果； 服务端系统， 用于对所述人脸皮肤图像做预处理， 并基于所述人脸皮肤图像对对应用 户的人脸皮肤进行分类和问题检测； 移动端系统， 用于接收所述服务器系统中所述人脸皮肤分类和问题检测的结果并保 存。 权利要求书 2/2 页 3 CN 109948476 A 3 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 技术领域 0001 本发明属于计算机。

8、视觉技术领域， 具体涉及一种基于计算机视觉的人脸皮肤检测 系统及其实现方法。 背景技术 0002 人脸部皮肤的肤质情况复杂， 因人而异。 目前已知的共有五种肤质， 分别是中性肤 质， 干性肤质， 油性肤质， 混合性肤质， 敏感性肤质。 目前还缺乏专门的图像识别手段能够识 别这五种肤质。 0003 人脸部常常会有不同类型的皮肤问题， 或是皮肤特征。 常见的皮肤问题有:痤疮， 毛孔粗大、 皱纹、 过敏等。 这些皮肤问题多为后天形成， 可通过一定的护肤手段加以消除， 恢 复美观。 但目前还缺乏专门的图像识别手段能将其正确地识别出来。 0004 皮肤检测系统广泛应用于美容行业， 可以辅助检测用户皮肤状。

9、况， 将肤质、 肤龄以 及皮肤的常见皮肤问题用电子显示图检测出结果， 可以更加直观了解用户的皮肤情况。 但 是， 目前的皮肤检测系统(如皮测仪)进行皮肤检测过程比较复杂， 皮肤检测的等待时间较 长， 无法进行快速地实施皮肤问题检测。 发明内容 0005 针对上述现有技术中皮肤检测过程繁杂、 检测时间过长的问题， 本发明于提出一 种基于计算机视觉的人脸皮肤检测系统及其实现方法， 本发明可快速地根据人脸的皮肤图 像进行一系列的检测， 具体技术方案如下： 0006 一种基于计算机视觉的人脸皮肤检测方法， 所述方法包括： 0007 S1、 通过视频引导用户到达摄像头前的指定位置， 通过摄像头采集预设大。

10、小的人 脸照片， 并将所述人脸照片传输到服务器端； 0008 S2、 由所述服务器对所述人脸照片做预处理， 并对预处理后的所述人脸照片进行 人脸皮肤检测， 并记录保存记录结果； 0009 S3、 移动端系统通过移动网络访问服务器获取所述记录结果和历史记录。 0010 进一步的， 步骤S1中包括： 0011 S11、 通过所述摄像头的实时视频， 检测到人脸的初始位置， 并通过所述实时视频 引导用户从初始位置调整到指定位置； 0012 S12、 设定所述指定位置的人脸大小和位置的比例关系， 并判断获取的当前用户的 人脸大小和位置是否与所述指定位置的设置是否合适， 若不合适， 则重复步骤S12， 否。

11、则， 转 到步骤S13 0013 S13、 通过所述摄像头采集当前用户人脸的实时图像， 并对所述实时图像进行模糊 度检查。 0014 进一步的， 步骤S2包括： 0015 S21、 所述服务器基于采集得到的当前用户对应的所述实时图像最大人脸位置裁 说明书 1/6 页 4 CN 109948476 A 4 剪； 0016 S22、 对裁剪后的所述实时图像基于dlib进行人脸指定关键点的检测； 0017 S23、 基于S22的检测结果对裁剪后的所述实时图像进行抠图处理， 得到去除人脸 隐私信息的抠图图像， 并通过贝塞尔曲线的平滑对所述抠图图像做平滑处理； 0018 S24、 通过小波分析方法将平滑。

12、处理后的所述抠图图像的图像特征进行特征分解 得到特征图像。 0019 进一步的， 步骤S3中包括： 0020 S31、 将所述特征图像的色彩空间转换为Lab空间， 并分离Lab空间下的所述特征图 像， 对所述特征图像的亮度L的像素值进行升序排序； 0021 S32、 设定肤色值的区间为(1,100)， 按照指定比例将所述像素值的排序序列中间 1/3的平均值作为当前用户的肤色值检测结果； 0022 S33、 基于深度神经网络皮肤进行皮肤问题检测和分类： 0023 S331、 采集指定数目不同皮肤问题面部样本作为样本库， 并设定每种皮肤问题的 特征数量； 0024 S332、 基于所述深度神经网络。

13、对所述样本库中的面部样本进行训练， 得到不同种 类皮肤问题的分类参数并保存； 0025 S333、 将所述特征图像输入到所述深度神经网络中， 获取所述特征图像对应的用 户的人脸存在的图像类型即皮肤问题； 0026 S34、 根据所述实时图像的检测结果获得对应用户人脸皮肤的综合评分。 0027 另一方面， 提供一种基于计算机视觉的人脸皮肤检测系统， 适用于上述的基于计 算机视觉的人脸皮肤检测方法， 所述系统包括： 0028 前端系统， 用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图 像， 并展示最后的人脸皮肤的检测结果； 0029 服务端系统， 用于对所述人脸皮肤图像做预处理， 并基。

14、于所述人脸皮肤图像对对 应用户的人脸皮肤进行分类和问题检测； 0030 移动端系统， 用于接收所述服务器系统中所述人脸皮肤分类和问题检测的结果并 保存。 0031 与现有技术相比， 本发明的基于计算机视觉的人脸皮肤检测系统及其实现方法的 有益效果为： 本发明通过将前端系统、 服务器系统和移动端系统结合形成整个的皮肤检测 系统， 通过前端系统采集人脸的图像照片， 由服务器系统对图像照片进行相对应的预处理 并根据预处理的结果给出对皮肤检测的结果， 最后将检测结果发送至移动端系统， 从移动 端系统实时了解得到检测结果， 同时服务器系统根据实际的检测结果会发送对应的皮肤管 理方式至客户端， 供客户参考。

15、保养， 具有检测快速有效， 且对皮肤的检测准确率良好的效 果。 附图说明 0032 图1为本发明实施例中所述基于计算机视觉的人脸皮肤检测系统的结构组成框图 示意； 0033 图2为本发明实施例中前端系统对人脸图像采集前的调整过程图示意； 说明书 2/6 页 5 CN 109948476 A 5 0034 图3(a)3(f)为本发明实施例中所述服务器端对前端系统采集得到人脸照片的 预处理过程图示意； 0035 图4为本发明实施例中人脸皮肤肤色的计算方法演示图示意； 0036 图5为本发明实施例中人脸皮肤问题的检测结果示意图。 具体实施方式 0037 为了使本技术领域的人员更好地理解本发明方案， 。

16、下面将结合本发明实施例中的 附图， 对本发明实施例中的技术方案进行清楚、 完整地描述。 0038 参阅图1， 在本发明实施例中， 首先提供了一种基于计算机视觉的人脸皮肤检测系 统， 系统包括： 用于引导用户至指定位置从而获取对应用户合适大小的人脸皮肤图像， 并展 示最后的人脸皮肤的检测结果的前端系统， 用于对人脸皮肤图像做预处理， 并基于人脸皮 肤图像对对应用户的人脸皮肤进行分类和问题检测的服务端系统， 以及用于接收服务器系 统中人脸皮肤分类和问题检测的结果并保存的移动端系统。 0039 其中， 前端系统中包括前端引导模块和图像采集模块， 前端引导模块用于引导用 户至合适的位置， 具体的， 前。

17、端引导模块通过人脸检测确定人脸的位置和大小， 并将所获取 的相关信息与期望的人脸位置和大小进行比较来估算用户的位置， 并对用户进行引导； 由 于人脸的大小和用户距离摄像头的距离成反比， 通过判断人脸的大小来判定用户的距离， 而通过人脸位置距离中心的点的距离来确定用户是否处于视频的中心； 在用户将人脸调整 至合适位置后通过图像采集模块采集指定大小的人脸图像照片， 并传递至服务端系统； 优 选的图像采集模块为摄像机等具备拍照功能的摄像设备， 具体设计成何种设备可根据实际 情况进行选择， 本发明在此并不进行限制和固定。 0040 服务端系统包括图像预处理模块、 皮肤综合状况检测模块和皮肤问题检测与分。

18、类 模块， 服务端系统在接收到图像采集模块采集的人脸图像后， 经由图像预处理模块对人脸 图像进行预处理： 首先， 根据检测到的人脸位置进行人脸检测， 去除周边环境对皮肤检测的 影响； 然后， 基于人脸特征点检测， 去除人脸的隐私部位(如： 眼睛、 嘴巴等)以及影响皮肤检 测的特殊部位(如： 眉毛、 鼻孔等)； 同时， 利用了贝塞尔曲线对裁剪掉的部位的边缘进行平 滑处理， 保证整个图像的整洁和美观； 随后， 对平滑处理后的图像进行灰度化处理， 以消除 光线对于皮肤状况检测的影响； 最后， 对灰度化处理过的图像进行小波转换， 实现对不同粒 度下皮肤问题特征的凸显， 从而方便实现下述对皮肤问题的进一。

19、步分类操作。 0041 经过预处理的图片传递至皮肤综合检测模块和皮肤问题检测与分类模块， 实现对 皮肤的分类和检测操作； 具体的， 分类和检测操作基于预处理后的人脸皮肤图像进行处理， 本发明主要对皮肤的肤质状况、 肤龄以及肤色等问题进行计算和展示； 其中， 皮肤问题检测 和分类模块基于深度学习网络模型进行检测和分类， 基于深度学习网络模型的图像检测和 分类为常规技术手段， 因此本发明通过皮肤拍摄成图片进行皮肤问题检测和分类可实现， 具体实现过程可参阅深度学习网络模型对图像的分类和检测技术的材料， 本发明在此不再 进行赘述： 通过标准的Inception-V4模型来对图像进行特征提取， 并基于S。

20、SD(Single Shot MultiBox Detector)算法来检测和分类人脸皮肤的异常问题。 0042 终端系统上设置有结果展示模块， 包括前端概要结果展示模块和移动端详细结果 展示模块， 具体通过显示屏显示人脸图像及文字的方式来实现对用户的人脸皮肤的检测结 说明书 3/6 页 6 CN 109948476 A 6 果展示。 0043 参阅图2、 图3(a)3(f)以及图4和图5， 在本发明实施例中， 还提供了应用于上述 基于计算机视觉的人脸皮肤检测系统的检测方法， 方法的详细检测过程包括如下步骤： 0044 S1、 通过视频引导用户到达摄像头前的指定位置， 通过摄像头采集预设大小的。

21、人 脸照片， 并将人脸照片传输到服务器端： 0045 S11、 通过摄像头的实时视频， 检测到人脸的初始位置， 并通过实时视频引导用户 从初始位置调整到指定位置； 0046 S12、 设定指定位置的人脸大小和位置的比例关系， 并判断获取的当前用户的人脸 大小和位置是否与指定位置的设置是否合适， 若不合适， 则重复步骤S12， 否则， 转到步骤 S13； 0047 S13、 通过摄像头采集当前用户人脸的实时图像， 并对实时图像进行模糊度检查； 其中， 在实际操作过程中， 如果所采集照片由于动态等原因导致模糊， 将重新采集照片， 直 到采集到清晰照片为止。 0048 S2、 由服务器对人脸照片做预。

22、处理， 并对预处理后的人脸照片进行人脸皮肤检测， 并记录保存记录结果： 0049 S21、 服务器基于采集得到的当前用户对应的实时图像将最大人脸位置裁剪； 0050 S22、 对裁剪后的实时图像基于dlib进行人脸指定关键点的检测； 结合图3(c)， 本 实施例以对人脸图像进行68个面部特征点减小检测为例进行说明； 当然， 此仅为本发明的 较佳实施例， 并不对在其他实施例中特征点的提取数量进行限制和固定； 0051 S23、 基于S22的检测结果对裁剪后的实时图像进行抠图处理， 得到抠图图像， 并通 过贝塞尔曲线的平滑对抠图图像做平滑处理； 具体的， 通过抠图处理以实现人脸五官从图 像中去除得。

23、到如图3(d)所示的图像， 只保留对人脸皮肤问题检测所需要的皮肤部位， 并通 过贝塞尔曲线的平滑做平滑处理， 得到更加整洁的人脸皮肤问题检测图片， 保证在皮肤问 题检测过程中不会因为杂质的干扰而影响检测结果， 即提升皮肤问题的检测准确率。 0052 S24、 通过小波分析方法将平滑处理后的抠图图像的图像特征进行特征分解得到 特征图像， 通过小波分析处理的结果具体可结合图3(e)； 同时， 通过小波分析处理后可以通 过人脸图像提取人脸面部的大部分异常结构， 为了区分不同类型的异常结构情况， 本发明 通过不同异常结构在不通过光谱颜色展示下具有不同的效果， 进行不同类型的光谱变换， 具体可参阅图3(。

24、f)。 0053 S3、 移动端系统通过移动网络访问服务器获取皮肤检测的记录结果和历史记录： 0054 S31、 将特征图像的色彩空间转换为Lab空间， 并分离Lab空间下的特征图像， 对特 征图像的亮度L的像素值进行升序排序； 因为Lab色彩空间中的数值描述正常视力的人能够 看到的所有颜色， 相比RGB空间， 它弥补了RGB色彩模型分布不均的缺点； 本发明在将特征图 像的色彩空间转换为Lab空间， 还需分离Lab色彩空间下的图像， 具体的， 取其亮度L的像素 值进行升序排序， 然后取序列中前1/10的平均值作为亮度最大值Light_Max， 取整个序列的 平均值作为亮度平均值Light_Me。

25、an； 如果该亮度序列满足值Light_Max大于85且Light_ Max-Light_Mean12,或者满足Light_Max-Light_Mean15,则评判该人脸肤质为油性皮肤； 如果满足75Light_Max85且10Light_Max-Light_Mean12或者12Light_Max-Light_ Mean15,则评判该人脸肤质为中性偏油皮肤； 如果满足7Light_Max-Light_Mean10,则评 说明书 4/6 页 7 CN 109948476 A 7 判该人脸肤质为中性偏干皮肤； 如果满足Light_Max-Light_Mean7， 则评判该人脸肤质为 干性皮肤； 如。

26、果满足其余情况， 则评判该人脸肤质为中性皮肤， 具体可通过以下计算公式进 行计算： 0055 Mean(Sort(L)0:(length(L)/10)Lmax-Mean(L) 0056 and Mean(Sort(L)0:(length(L)/10)Lmax 0057 or Mean(Sort(L)0:(length(L)/10)Lmax-Mean(L) 0058 参阅图4， 根据肤质评价计算公式可得： 0059 skinTypeMean(Sort(L)0:1183/10)-Mean(L)14 0060 andMean(Sort(L)0:(length(L)/10)Lmax-Mean(L)Me。

27、an(Sort(L)0:1183/ 10)90 0061 根据上述公式计算所得结果， 评价肤质为油性皮肤。 0062 根据下图4中肤色评价计算公式可得： 0063 skinColorMean(Sort(L)1183/3:2*1183/3)68 0064 根据上述公式计算所得结果， 其在5070段之间， 评价肤色为自然 0065 S32、 设定肤色值的区间为(1,100)， 按照指定比例将像素值的排序序列中间1/3的 平均值作为当前用户的肤色值检测结果， 优选的， 本实施例将区间(1,100)按照1:2:4:2:1 比例分成5个区间， 分别对应透白、 白皙、 小麦、 暗沉、 黝黑五种肤色； 此可。

28、根据实际操作进行 源代码的变化来变化比例和与比例对应的肤色。 0066 S33、 基于深度神经网络皮肤进行皮肤问题检测和分类： 0067 S331、 采集指定数目不同皮肤问题面部样本作为样本库， 并设定每种皮肤问题的 特征数量， 例如， 采集200个面部皮肤问题的样本， 每个皮肤问题的总特征至少包含1000个， 将这些将这些特征的位置信息(量化成不同的标记)、 像素面积、 特征形状(长宽比)、 特征颜 色四维特征组成一个数组， 建立一个5*1000*4的空间作为样本库； 0068 S332、 基于深度神经网络对样本库中的面部样本进行训练， 得到不同种类皮肤问 题的分类参数并保存； 0069 S。

29、333、 将特征图像输入到深度神经网络中， 获取特征图像对应的用户的人脸存在 的图像类型即皮肤问题； 0070 S34、 根据实时图像的检测结果获得对应用户人脸皮肤的综合评分。 0071 在本发明实施例中， 终端系统会保存指定用户每一次的皮肤情况检测结果， 这样， 本发明中服务端系统即可根据指定客户历史的检测结果和当前的检测结果， 发送皮肤变化 情况报告给用户， 提醒用户皮肤的具体变化， 并对此采取对应的措施进行改善， 提升用户体 验。 0072 与现有技术相比， 本发明的基于计算机视觉的人脸皮肤检测系统及其实现方法的 有益效果为： 本发明通过将前端系统、 服务器系统和移动端系统结合形成整个的。

30、皮肤检测 系统， 通过前端系统采集人脸的图像照片， 由服务器系统对图像照片进行相对应的预处理 并根据预处理的结果给出对皮肤检测的结果， 最后将检测结果发送至移动端系统， 从移动 端系统实时了解得到检测结果， 同时服务器系统根据实际的检测结果会发送对应的皮肤管 理方式至客户端， 供客户参考保养， 具有检测快速有效， 且对皮肤的检测准确率良好的效 果。 说明书 5/6 页 8 CN 109948476 A 8 0073 以上仅为本发明的较佳实施例， 但并不限制本发明的专利范围， 尽管参照前述实 施例对本发明进行了详细的说明， 对于本领域的技术人员来而言， 其依然可以对前述各具 体实施方式所记载的技术方案进行修改， 或者对其中部分技术特征进行等效替换。 凡是利 用本发明说明书及附图内容所做的等效结构， 直接或间接运用在其他相关的技术领域， 均 同理在本发明专利保护范围之内。 说明书 6/6 页 9 CN 109948476 A 9 图1 图2 图3(a) 说明书附图 1/4 页 10 CN 109948476 A 10 图3(b) 图3(c) 说明书附图 2/4 页 11 CN 109948476 A 11 图3(d) 图3(e) 图3(f) 说明书附图 3/4 页 12 CN 109948476 A 12 图4 图5 说明书附图 4/4 页 13 CN 109948476 A 13 。