带隐私保护的用户意思表达实时判断系统及智能居室系统.pdf

《带隐私保护的用户意思表达实时判断系统及智能居室系统.pdf》由会员分享，可在线阅读，更多相关《带隐私保护的用户意思表达实时判断系统及智能居室系统.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911164421.7 (22)申请日 2019.11.25 (71)申请人 广州富港万嘉智能科技有限公司 地址 510700 广东省广州市黄埔区科学城 南云五路11号光正科技产业园内501- 1 (72)发明人 傅峰峰江志强刘嘉荣王培彬 (74)专利代理机构 广州永华专利代理有限公司 44478 代理人 郭裕彬 (51)Int.Cl. G06K 9/00(2006.01) (54)发明名称 带隐私保护的用户意思表达实时判断系统 及智能居室系统 (57)摘要 本发明提供一种。

2、带隐私保护的用户意思表 达实时判断系统及智能居室系统， 该用户意思表 达实时判断系统包括服务器和摄像终端， 摄像终 端包括摄像头和主控模块， 主控模块中的计算机 程序被处理器执行时实现如下步骤： 实时获取拍 摄到的用户图像， 用户图像中含有人脸； 识别用 户图像中的人脸及其所含的需保留的信息； 用含 有所述需保留的信息的其它人脸替代用户图像 中所识别到的原人脸， 得到待上传的用户图像； 上传用户图像。 即待上传的用户图像中， 人脸是 含有需保留的信息的其它人脸而不是用户的原 人脸， 因此用户的原人脸不会被上传， 从而能对 用户的隐私进行保护； 且由于该其它人脸中含有 原人脸的需保留的信息， 原。

3、人脸的需保留的信息 仍能被上传。 权利要求书1页 说明书5页 附图1页 CN 111160092 A 2020.05.15 CN 111160092 A 1.带隐私保护的用户意思表达实时判断系统， 包括服务器和摄像终端， 所述服务器实 时根据摄像终端上传的用户图像判断用户意思表达， 所述摄像终端包括相互连接的摄像头 和主控模块， 所述主控模块经网络连接所述服务器， 所述主控模块包括相互连接的处理器 和计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 所述计算机程序 被处理器执行时实现如下步骤： A.实时获取拍摄到的用户图像， 用户图像中含有人脸； D.上传用户图像； 其特征是，。

4、 在步骤A、 D之间依次执行步骤B、 C如下： B.识别用户图像中的人脸及其所含的需保留的信息； C.用含有所述需保留的信息的其它人脸替代用户图像中所识别到的原人脸， 得到待上 传的用户图像。 2.根据权利要求1所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 所述需 保留的信息是能用于判断用户意思表达的信息。 3.根据权利要求2所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 在所述 步骤C中， 实时利用神经网络生成含有所述需保留的信息的其它人脸， 用该其它人脸替代用 户图像中所识别到的原人脸。 4.根据权利要求3所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 所述。

5、步 骤C具体地， 实时利用神经网络生成其它人脸后， 根据用户图像中所识别到的原人脸所包含 的需保留的信息实时调整该其它人脸， 以使得该其它人脸含有所述需保留的信息， 从而得 到含有所述需保留的信息的其它人脸。 5.根据权利要求2所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 所述需 保留的信息包括体现人脸朝向的信息。 6.根据权利要求2所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 所述需 保留的信息包括体现用户是否在说话的信息。 7.根据权利要求6所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 所述体 现用户是否在说话的信息是嘴型信息。 8.根据权利要求2所述的。

6、带隐私保护的用户意思表达实时判断系统， 其特征是： 所述需 保留的信息包括体现人脸表情的信息。 9.根据权利要求1所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 若接收 到不进行隐私保护的命令， 则不执行所述步骤B和C。 10.根据权利要求9所述的带隐私保护的用户意思表达实时判断系统， 其特征是： 包括 与主控模块连接的触控开关， 所述触控开关用于向主控模块发送不进行隐私保护的命令。 11.智能居室系统， 包括用户意思表达实时判断系统和智能居室设备， 其特征是： 所述 用户意思表达实时判断系统是权利要求1至10任一项所述的带隐私保护的用户意思表达实 时判断系统， 所述带隐私保护的用户。

7、意思表达实时判断系统中的服务器经网络连接所述智 能居室设备。 权利要求书 1/1 页 2 CN 111160092 A 2 带隐私保护的用户意思表达实时判断系统及智能居室系统 技术领域 0001 本发明涉及智能居室技术领域， 特别涉及用户意思表达实时判断系统及智能居室 系统。 背景技术 0002 智能居室系统为人们的生活提供了更加舒适、 便利的条件， 现有的部分智能居室 系统配套有用户意思表达判断系统， 该用户意思表达判断系统利用摄像头拍摄用户图像， 并通过服务器分析用户图像来判断用户意思表达， 然后服务器根据用户意思表达控制智能 居室系统中的智能居室设备自动运行， 这样无需用户手动向智能居室。

8、系统发出控制指令， 智能居室系统就能自动运行以满足用户的需求。 0003 但是， 用户意思表达判断系统在利用摄像头拍摄用户图像时， 用户图像中会包含 用户的人脸， 而在拍摄到用户图像后， 通常是把用户图像上传到服务器中进行分析以判断 用户意思表达， 即会把包含有用户人脸的用户图像上传到服务器， 这样在判断用户意思表 达的过程中就难以保护用户的隐私。 发明内容 0004 本发明要解决的技术问题是如何对需上传的包含用户人脸的用户图像中的用户 隐私进行保护。 0005 为解决上述技术问题， 本发明提供一种带隐私保护的用户意思表达实时判断系 统， 包括服务器和摄像终端， 所述服务器实时根据摄像终端上传。

9、的用户图像判断用户意思 表达， 所述摄像终端包括相互连接的摄像头和主控模块， 所述主控模块经网络连接所述服 务器， 所述主控模块包括相互连接的处理器和计算机可读存储介质， 所述计算机可读存储 介质上存储有计算机程序， 所述计算机程序被处理器执行时实现如下步骤： 0006 A.实时获取拍摄到的用户图像， 用户图像中含有人脸； 0007 D.上传用户图像； 0008 在步骤A、 D之间依次执行步骤B、 C如下： 0009 B.识别用户图像中的人脸及其所含的需保留的信息； 0010 C.用含有所述需保留的信息的其它人脸替代用户图像中所识别到的原人脸， 得到 待上传的用户图像。 0011 优选地， 所。

10、述需保留的信息是能用于判断用户意思表达的信息。 0012 优选地， 在所述步骤C中， 实时利用神经网络生成含有所述需保留的信息的其它人 脸， 用该其它人脸替代用户图像中所识别到的原人脸。 0013 优选地， 所述步骤C具体地， 实时利用神经网络生成其它人脸后， 根据用户图像中 所识别到的原人脸所包含的需保留的信息实时调整该其它人脸， 以使得该其它人脸含有所 述需保留的信息， 从而得到含有所述需保留的信息的其它人脸。 0014 优选地， 所述需保留的信息包括体现人脸朝向的信息。 说明书 1/5 页 3 CN 111160092 A 3 0015 优选地， 所述需保留的信息包括体现用户是否在说话的。

11、信息。 0016 优选地， 所述体现用户是否在说话的信息是嘴型信息。 0017 优选地， 所述需保留的信息包括体现人脸表情的信息。 0018 优选地， 若接收到不进行隐私保护的命令， 则不执行所述步骤B和C。 0019 优选地， 包括与主控模块连接的触控开关， 所述触控开关用于向主控模块发送不 进行隐私保护的命令。 0020 本发明还提供一种智能居室系统， 包括用户意思表达实时判断系统和智能居室设 备， 其特征是： 所述用户意思表达实时判断系统是上述的带隐私保护的用户意思表达实时 判断系统， 所述带隐私保护的用户意思表达实时判断系统中的服务器经网络连接所述智能 居室设备。 0021 本发明具有。

12、以下有益效果： 在识别用户图像中的人脸及其所含的需保留的信息 后， 用含有所述需保留的信息的其它人脸替代用户图像中所识别到的原人脸， 得到待上传 的用户图像， 即待上传的用户图像中， 人脸是含有需保留的信息的其它人脸而不是用户的 原人脸， 因此用户的原人脸不会被上传， 从而能对用户的隐私进行保护； 且由于该其它人脸 中含有原人脸的需保留的信息， 原人脸的需保留的信息仍能被上传。 附图说明 0022 图1是智能居室系统的电路连接框图。 0023 附图标记说明： 1-带隐私保护的用户意思表达实时判断系统； 2-智能居室设备； 3- 摄像头； 4-主控模块； 5-服务器； 6-摄像终端； 7-触控开。

13、关。 具体实施方式 0024 下面将参照附图更详细地描述本申请的示例性实施例。 虽然附图中显示了本申请 的示例性实施例， 然而应当理解， 能够以各种形式实现本申请而不应被这里阐述的实施例 所限制。 相反地， 提供这些实施例是为了令本领域的技术人员能够更透彻地理解本申请， 并 且能够将本申请的范围完整地传达给本领域的技术人员。 0025 智能居室系统如图1所示， 包括带隐私保护的用户意思表达实时判断系统1和智能 居室设备2， 带隐私保护的用户意思表达实时判断系统1包括摄像头3、 主控模块4和服务器 5， 摄像头3与主控模块4相互连接形成摄像终端6， 主控模块4经网络连接服务器5， 服务器5 经网。

14、络连接智能居室设备2， 带隐私保护的用户意思表达判断系统1还设有连接主控模块4 的触控开关7， 触控开关7上设有隐私保护启动按键和隐私保护停止按键。 0026 若用户按下触控开关7上的隐私保护停止按键， 则触控开关7向主控模块4发送不 进行隐私保护的命令， 这样带隐私保护的用户意思表达判断系统1在运行时， 先利用摄像头 3拍摄用户图像， 主控模块4实时获取摄像头3拍摄到的用户图像， 该用户图像中含有人脸， 然后主控模块4直接上传该用户图像至服务器5； 0027 若用户按下触控开关7上的隐私保护启动按键， 则触控开关7向主控模块4发送进 行隐私保护的命令， 这样带隐私保护的用户意思表达判断系统1。

15、在运行时， 先利用摄像头3 拍摄用户图像， 主控模块4实时获取摄像头3拍摄到的用户图像， 该用户图像中含有人脸， 然 后主控模块4识别用户图像中的人脸， 并识别人脸中所包含的需保留的信息， 该需保留的信 说明书 2/5 页 4 CN 111160092 A 4 息是用于判断用户意思表达的信息， 包括体现人脸朝向的信息、 嘴型信息和体现人脸表情 的信息， 例如需保留的信息是人脸朝左、 嘴巴闭合、 开心； 在主控模块4识别出人脸和人脸中 的上述需保留的信息后， 主控模块4实时利用神经网络生成人脸朝左、 嘴巴闭合且开心的假 脸， 再用该人脸朝左、 嘴巴闭合且开心的假脸替代用户图像中所识别到的原人脸，。

16、 得到待上 传至服务器5的用户图像， 因为待上传至服务器5的用户图像中的原人脸已被人脸朝左、 嘴 巴闭合且开心的假脸替代， 所以用户的原人脸不会被上传至服务器5， 从而能对用户的隐私 进行保护； 又因为用人脸朝左、 嘴巴闭合且开心的假脸替代原人脸后的用户图像仍保留有 体现人脸朝左的信息， 所以在把该用户图像上传至服务器5后， 服务器5仍能根据该用户图 像中的体现人脸朝左的信息判断用户表达了走往左侧窗边观看窗外风景的意思， 并根据用 户所表达的意思控制智能居室设备2自动拉开位于用户左侧的窗帘， 这样用户只需直接走 往左侧窗边， 而无需手动向智能居室设备2发出控制左侧窗帘拉开的指令， 就能观看左侧。

17、窗 外的风景。 0028 在假脸生成过程中， 主控模块4根据识别出的用户图像的人脸中所包含的需保留 信息实时调整假脸的人脸朝向、 嘴型和人脸表情， 以使得假脸的人脸朝向、 嘴型和人脸表情 与用户原人脸一致。 上述利用神经网络生成假脸是现有常规技术手段， 在此不再赘述详细 过程。 0029 主控模块4识别出的人脸所包含的需保留的信息中， 嘴巴张开或闭合的嘴型信息 能体现用户是否在说话， 具体地： 若识别出嘴巴张开则体现用户在说话， 若识别出嘴巴闭合 则体现用户没有在说话。 用户在休息时可能会利用智能居室设备2播放音乐， 若此时有来 电， 则用户在接通来电说话时， 智能居室设备2播放的音乐会干扰用。

18、户通话， 故此时用户会 想要令音乐停止播放， 因此： 0030 在智能居室设备2播放音乐时， 若主控模块4识别出的人脸所包含的需保留的信息 中有嘴巴张开的嘴型信息， 例如需保留的信息是人脸正向、 嘴巴张开、 平静， 则主控模块4实 时利用神经网络生成人脸正向、 嘴巴张开且平静的假脸， 再用该人脸正向、 嘴巴张开且平静 的假脸替代用户图像中所识别到的原人脸， 得到待上传至服务器5的用户图像， 因为待上传 至服务器5的用户图像中的原人脸已被人脸正向、 嘴巴张开且平静的假脸替代， 所以用户的 原人脸不会被上传至服务器5， 从而能对用户的隐私进行保护； 又因为用人脸正向、 嘴巴张 开且平静的假脸替代原。

19、人脸后的用户图像仍保留有嘴巴张开的嘴型信息， 所以在把该用户 图像上传至服务器5后， 服务器5仍能根据该用户图像中的嘴巴张开的嘴型信息判断用户表 达了令音乐停止播放的意思， 并根据用户所表达的意思控制智能居室设备2停止播放音乐， 这样用户在接通来电后只需直接张嘴说话， 而无需手动向智能居室设备2发出停止播放音 乐的指令， 就能令智能居室设备2自动停止播放音乐； 0031 在智能居室设备2播放音乐时， 若主控模块4识别出的人脸所包含的需保留的信息 中有嘴巴闭合的嘴型信息， 例如需保留的信息是人脸正向、 嘴巴闭合、 平静， 则主控模块4实 时利用神经网络生成人脸正向、 嘴巴闭合且平静的假脸， 再用。

20、该人脸正向、 嘴巴闭合且平静 的假脸替代用户图像中所识别到的原人脸， 得到待上传至服务器5的用户图像， 因为待上传 至服务器5的用户图像中的原人脸已被人脸正向、 嘴巴闭合且平静的假脸替代， 所以用户的 原人脸不会被上传至服务器5， 从而能对用户的隐私进行保护； 又因为用人脸正向、 嘴巴闭 合且平静的假脸替代原人脸后的用户图像仍保留有嘴巴闭合的嘴型信息， 所以在把该用户 说明书 3/5 页 5 CN 111160092 A 5 图像上传至服务器5后， 服务器5仍能根据该用户图像中的嘴巴闭合的嘴型信息判断用户没 有表达令音乐停止播放的意思， 则服务器5不控制智能居室设备2停止播放音乐。 0032 。

21、若主控模块4识别出的人脸所包含的需保留的信息中有体现人脸表情是开心的信 息， 例如需保留的信息是人脸正向、 嘴巴闭合、 开心， 则主控模块4实时利用神经网络生成人 脸正向、 嘴巴闭合且开心的假脸， 再用该人脸正向、 嘴巴闭合且开心的假脸替代用户图像中 所识别到的原人脸， 得到待上传至服务器5的用户图像， 因为待上传至服务器5的用户图像 中的原人脸已被人脸正向、 嘴巴闭合且开心的假脸替代， 所以用户的原人脸不会被上传至 服务器5， 从而能对用户的隐私进行保护； 又因为用人脸正向、 嘴巴闭合且开心的假脸替代 原人脸后的用户图像仍保留有体现人脸表情是开心的信息， 所以在把该用户图像上传至服 务器5后。

22、， 服务器5仍能根据该用户图像中的体现人脸表情是开心的信息判断用户对带隐私 保护的用户意思表达判断系统1非常满意。 0033 若主控模块4识别出的人脸所包含的需保留的信息中有体现人脸表情是平静的信 息， 例如需保留的信息是人脸正向、 嘴巴闭合、 平静， 则主控模块4实时利用神经网络生成人 脸正向、 嘴巴闭合且平静的假脸， 再用该人脸正向、 嘴巴闭合且平静的假脸替代用户图像中 所识别到的原人脸， 得到待上传至服务器5的用户图像， 因为待上传至服务器5的用户图像 中的原人脸已被人脸正向、 嘴巴闭合且平静的假脸替代， 所以用户的原人脸不会被上传至 服务器5， 从而能对用户的隐私进行保护； 又因为用人。

23、脸正向、 嘴巴闭合且平静的假脸替代 原人脸后的用户图像仍保留有体现人脸表情是平静的信息， 所以在把该用户图像上传至服 务器5后， 服务器5仍能根据该用户图像中的体现人脸表情是平静的信息判断用户对带隐私 保护的用户意思表达判断系统1一般满意。 0034 若主控模块4识别出的人脸所包含的需保留的信息中有体现人脸表情是难过、 生 气、 嫌弃或害怕的信息， 例如需保留的信息是人脸正向、 嘴巴闭合且害怕， 则主控模块4实时 利用神经网络生成人脸正向、 嘴巴闭合且害怕的假脸， 再用该人脸正向、 嘴巴闭合且害怕的 假脸替代用户图像中所识别到的原人脸， 得到待上传至服务器5的用户图像， 因为待上传至 服务器5。

24、的用户图像中的原人脸已被人脸正向、 嘴巴闭合且害怕的假脸替代， 所以用户的原 人脸不会被上传至服务器5， 从而能对用户的隐私进行保护； 又因为用人脸正向、 嘴巴闭合 且害怕的假脸替代原人脸后的用户图像仍保留有体现人脸表情是害怕的信息， 所以在把该 用户图像上传至服务器5后， 服务器5仍能根据该用户图像中的体现人脸表情是害怕的信息 判断用户对带隐私保护的用户意思表达判断系统1不满意。 在人脸表情是害怕时判断用户 对带隐私保护的用户意思表达判断系统1不满意的理由如下： 若带隐私保护的用户意思表 达判断系统1控制智能居室设备2进行了不符合用户意图的操作， 则该不符合用户意图的操 作就有可能会吓到用户。

25、而令用户害怕， 例如， 若用户没有表达想要走往左侧窗边观看窗外 风景的意思， 但带隐私保护的用户意思表达判断系统1误判断用户表达了该意思， 并通过服 务器5控制智能居室设备2自动拉开左侧窗帘， 则用户可能会被这突如其来的拉开左侧窗帘 动作吓到而害怕， 在此情况下用户通常是对带隐私保护的用户意思表达判断系统1不满意 的， 因此在人脸表情是害怕时， 服务器5判断用户对带隐私保护的用户意思表达判断系统1 不满意。 0035 在服务器5判断出用户对带隐私保护的用户意思表达判断系统1的满意程度后， 研 发人员在用户对带隐私保护的用户意思表达判断系统1不满意时完善该系统。 引起用户对 说明书 4/5 页 。

26、6 CN 111160092 A 6 带隐私保护的用户意思表达判断系统1不满意的主要原因是系统误操作或系统不能识别用 户所表达的意思， 而引起系统误操作或不能识别用户所表达的意思的主要原因是主控模块 4识别出的体现人脸朝向的信息或嘴型信息不准确。 主控模块4是根据预设的人脸朝向幅度 值和嘴巴张开幅度值来识别体现人脸朝向的信息和嘴型信息的， 具体地： 在人脸朝左超过 预设幅度值时， 识别出人脸朝左的信息； 在人脸朝右超过预设幅度值时， 识别出人脸朝右的 信息； 在嘴巴张开超过预设幅度值时， 识别出嘴巴张开的嘴型信息； 在嘴巴张开不超过预设 幅度值时， 识别出嘴巴闭合的嘴型信息。 若服务器5根据害。

27、怕的人脸表情判断出用户对带隐 私保护的用户意思表达判断系统1不满意， 则引起用户不满意的主要原因是系统过于灵敏 而导致系统误操作， 此时完善带隐私保护的用户意思表达判断系统1的具体操作是增大主 控模块4中预设的人脸朝向幅度值和嘴巴张开幅度值， 以降低系统的灵敏度； 若服务器5根 据难过、 生气或嫌弃的人脸表情判断出用户对带隐私保护的用户意思表达判断系统1不满 意， 则引起用户不满意的主要原因是系统不够灵敏而不能识别用户所表达的意思， 此时完 善带隐私保护的用户意思表达判断系统1的具体操作是减小主控模块4中预设的人脸朝向 幅度值和嘴巴张开幅度值， 以提高系统的灵敏度。 0036 本实施例中， 需。

28、保留的信息也可以是体现用户用力呼气的信息， 该体现用户用力 呼气的信息用作研究， 经研究可能会认为该体现用户用力呼气的信息对判断用户意思表达 没有帮助。 也就是说， 对需上传的包含有用户人脸的用户图像进行隐私保护时， 也保留一些 不用于判断用户意思表达的信息， 这样在保护用户隐私的前提下， 需保留的信息可用作研 究或其它用途。 0037 最后应当说明的是， 以上实施例仅用以说明本申请的技术方案， 而非对本申请保 护范围的限制， 尽管参照较佳实施例对本申请作了详细地说明， 本领域的普通技术人员应 当理解， 可以对本申请的技术方案进行修改或者等同替换， 而不脱离本申请技术方案的实 质和范围。 说明书 5/5 页 7 CN 111160092 A 7 图1 说明书附图 1/1 页 8 CN 111160092 A 8 。