《一种人脸跟踪的游戏交互方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种人脸跟踪的游戏交互方法及装置.pdf（11页完整版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201710868766.5 (22)申请日 2017.09.22 (71)申请人 广州帕克西软件开发有限公司 地址 518100 广东省广州市天河区黄村路 51号粤安工业园B栋5层 (72)发明人 梁松 周火坤 张晓民 谭军 (74)专利代理机构 广东广和律师事务所 44298 代理人 刘敏 (51)Int.Cl. A63F 13/213(2014.01) A63F 13/219(2014.01) A63F 13/235(2014.01) A63F 13/837(2014.01。
2、) A63F 13/655(2014.01) G06F 3/01(2006.01) G06K 9/00(2006.01) (54)发明名称 一种人脸跟踪的游戏交互方法及装置 (57)摘要 本发明公开了一种人脸跟踪的游戏交互方 法及装置， 该方法包括： 获取包含人脸的图像信 息； 对所述图像信息中的多个脸部特征点进行定 位； 对所定位到的多个所述脸部特征点映射到3D 世界坐标空间； 从所映射的3D世界坐标空间中提 取一至多个包含五官的脸部特征点的3D世界坐 标； 依据所提取的3D世界坐标执行预设的游戏交 互机制。 该发明的有益效果为： 无需外接其他游 戏输入设备， 降低成本； 使用人脸运动控制子。
3、弹 轨迹， 玩家在游戏过程中需进场运动头部， 有效 锻炼脖子肌肉； 玩家在游戏过程中， 眼球需经常 运动， 有效锻炼眼球防止近视； 使用面部动作来 控制游戏元素如炮弹、 火焰的发射， 能有效锻炼 面部肌肉； 是一种健康的游戏交互方式。 权利要求书3页 说明书5页 附图2页 CN 107648846 A 2018.02.02 CN 107648846 A 1.一种人脸跟踪的游戏交互方法， 其特征在于， 包括： 获取包含人脸的图像信息； 对所述图像信息中的多个脸部特征点进行定位； 对所定位到的多个所述脸部特征点映射到3D世界坐标空间； 从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的。
4、3D世界坐标； 依据所提取的3D世界坐标执行预设的游戏交互机制。 2.根据权利要求1所述的游戏交互方法， 其特征在于， 所述从所映射的3D世界坐标空间 中提取一至多个包含五官的脸部特征点的3D世界坐标， 包括： 从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、 右眼瞳孔特征点及鼻尖特征 点的3D世界坐标A(Xa,Ya,Za)、 B(Xb,Yb,Zb)及C(Xc,Yc,Zc)； 分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。 3.根据权利要求2所述的游戏交互方法， 其特征在于， 所述依据所提取的3D世界坐标执 行预设的游戏交互机制， 包括： 依据所述。
5、左眼瞳孔特征点、 所述右眼瞳孔特征点及所述鼻尖特征点形成一平面， 所述 平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、 向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb- Za)； 计算以所述左眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第一交点T1(Xt1,Yt1, Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)： (Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)0 (Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)0 (X。
6、b-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)0； 计算以所述右眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第二交点T2(Xt2,Yt2, Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)： (Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)0 (Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)0 (Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)0。 4.根据权利要求3所述的游戏交互方法，。
7、 其特征在于， 所述依据所提取的3D世界坐标执 行预设的游戏交互机制， 还包括： 根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量 AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物； 设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二 交点T2(Xt2,Yt2,Zt2)； 判断所述虚拟攻击物是否击中所述屏幕中的目标物， 若是， 则计算击中所述目标物的 数量， 并销毁所述虚拟攻击物， 若否， 则销毁所述虚拟攻击物； 若所击中的目标物的数量达到预设的数量， 则重新获取包含人脸的图像信息。 5。
8、.根据权利要求2所述的游戏交互方法， 其特征在于， 所述依据所提取的3D世界坐标执 行预设的游戏交互机制， 包括： 计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L： 权 利 要 求 书 1/3 页 2 CN 107648846 A 2 判断所述距离L是否大于预设的阈值， 若是， 则判断为张嘴， 若否， 则判断为闭嘴； 当判断为张嘴时， 于屏幕中释放特效。 6.一种人脸跟踪的游戏交互装置， 其中存储有多条指令， 所述指令适于由处理器加载 并执行， 其特征在于， 包括： 获取包含人脸的图像信息； 对所述图像信息中的多个脸部特征点进行定位； 对所定。
9、位到的多个所述脸部特征点映射到3D世界坐标空间； 从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标； 依据所提取的3D世界坐标执行预设的游戏交互机制。 7.根据权利要求6所述的游戏交互装置， 其特征在于， 所述从所映射的3D世界坐标空间 中提取一至多个包含五官的脸部特征点的3D世界坐标， 包括： 从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、 右眼瞳孔特征点及鼻尖特征 点的3D世界坐标A(Xa,Ya,Za)、 B(Xb,Yb,Zb)及C(Xc,Yc,Zc)； 分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。 8.根据权利要。
10、求7所述的游戏交互装置， 其特征在于， 所述依据所提取的3D世界坐标执 行预设的游戏交互机制， 包括： 依据所述左眼瞳孔特征点、 所述右眼瞳孔特征点及所述鼻尖特征点形成一平面， 所述 平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、 向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb- Za)； 计算以所述左眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第一交点T1(Xt1,Yt1, Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)： (Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-。
11、Za)0 (Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)0 (Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)0； 计算以所述右眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第二交点T2(Xt2,Yt2, Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)： (Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)0 (Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)0 (Xb-Xa)(Xt2-X。
12、b)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)0。 9.根据权利要求8所述的游戏交互装置， 其特征在于， 所述依据所提取的3D世界坐标执 行预设的游戏交互机制， 还包括： 根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量 AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物； 设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二 交点T2(Xt2,Yt2,Zt2)； 判断所述虚拟攻击物是否击中所述屏幕中的目标物， 若是， 则计算击中所述目标物的 数量， 并销毁所述虚拟攻击。
13、物， 若否， 则销毁所述虚拟攻击物； 若所击中的目标物的数量达到预设的数量， 则重新获取包含人脸的图像信息。 权 利 要 求 书 2/3 页 3 CN 107648846 A 3 10.根据权利要求7所述的游戏交互装置， 其特征在于， 所述依据所提取的3D世界坐标 执行预设的游戏交互机制， 包括： 计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L： 判断所述距离L是否大于预设的阈值， 若是， 则判断为张嘴， 若否， 则判断为闭嘴； 当判断为张嘴时， 于屏幕中释放特效。 权 利 要 求 书 3/3 页 4 CN 107648846 A 4 一种人。
14、脸跟踪的游戏交互方法及装置 技术领域 0001 本技术涉及图像处理技术领域， 具体涉及一种人脸跟踪的游戏交互方法及装置。 背景技术 0002 目前市面上类似微信打飞机一类的小游戏， 都是采用键鼠、 触摸屏或外接游戏手 柄做为游戏输入设备， 控制子弹的飞行轨迹来射击目标。 这种方式存在以下缺陷： 1)玩家手 指活动范围小， 长期在触摸屏上滑动， 或者按鼠标键盘容易产生肌肉疲劳， 导致 “鼠标手” “键盘手” 等健康问题； 2)玩家长期以固定姿势盯着屏幕， 容易导致眼球疲劳， 导致视力问 题； 3)互动方式单一， 在体验的过程中会显得枯燥无趣， 使玩家很快失去新鲜感； 4)使用外 接游戏手柄控制虽。
15、然进行更自然的交互， 但增加游戏外设成本较高。 发明内容 0003 本发明的目的在于解决现有技术中玩家手指活动范围小， 长期在触摸屏上滑动， 或者按鼠标键盘容易产生肌肉疲劳， 导致 “鼠标手”“键盘手” 等健康问题； 玩家长期以固定 姿势盯着屏幕， 容易导致眼球疲劳， 导致视力问题； 互动方式单一， 在体验的过程中会显得 枯燥无趣， 使玩家很快失去新鲜感； 使用外接游戏手柄控制虽然进行更自然的交互， 但增加 游戏外设成本较高的问题， 提供一种人脸跟踪的游戏交互方法及装置。 0004 本发明解决其技术问题所采用的技术方案是： 0005 提供一种人脸跟踪的游戏交互方法， 包括： 0006 获取包含。
16、人脸的图像信息； 0007 对所述图像信息中的多个脸部特征点进行定位； 0008 对所定位到的多个所述脸部特征点映射到3D世界坐标空间； 0009 从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐 标； 0010 依据所提取的3D世界坐标执行预设的游戏交互机制。 0011 在本发明所述的游戏交互方法中， 所述从所映射的3D世界坐标空间中提取一至多 个包含五官的脸部特征点的3D世界坐标， 包括： 0012 从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、 右眼瞳孔特征点及鼻尖 特征点的3D世界坐标A(Xa,Ya,Za)、 B(Xb,Yb,Zb)及C(Xc,Yc,Zc)。
17、； 0013 分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。 0014 在本发明所述的游戏交互方法中， 所述依据所提取的3D世界坐标执行预设的游戏 交互机制， 包括： 0015 依据所述左眼瞳孔特征点、 所述右眼瞳孔特征点及所述鼻尖特征点形成一平面， 所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、 向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb- Ya,Zb-Za)； 0016 计算以所述左眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第一交点T1(Xt1, 说 明 书 1/5 页 5 CN 107648846 。
18、A 5 Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)： 0017 (Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)0 0018 (Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)0 0019 (Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)0； 0020 计算以所述右眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第二交点T2(Xt2, Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)。
19、： 0021 (Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)0 0022 (Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)0 0023 (Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)0。 0024 在本发明所述的游戏交互方法中， 所述依据所提取的3D世界坐标执行预设的游戏 交互机制， 还包括： 0025 根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的 向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)。
20、产生虚拟攻击物； 0026 设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述 第二交点T2(Xt2,Yt2,Zt2)； 0027 判断所述虚拟攻击物是否击中所述屏幕中的目标物， 若是， 则计算击中所述目标 物的数量， 并销毁所述虚拟攻击物， 若否， 则销毁所述虚拟攻击物； 0028 若所击中的目标物的数量达到预设的数量， 则重新获取包含人脸的图像信息。 0029 在本发明所述的游戏交互方法中， 所述依据所提取的3D世界坐标执行预设的游戏 交互机制， 包括： 0030 计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间。
21、的距 离L： 0031 0032 判断所述距离L是否大于预设的阈值， 若是， 则判断为张嘴， 若否， 则判断为闭嘴； 0033 当判断为张嘴时， 于屏幕中释放特效。 0034 另一方面， 提供一种人脸跟踪的游戏交互装置， 其中存储有多条指令， 所述指令适 于由处理器加载并执行， 包括： 0035 获取包含人脸的图像信息； 0036 对所述图像信息中的多个脸部特征点进行定位； 0037 对所定位到的多个所述脸部特征点映射到3D世界坐标空间； 0038 从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐 标； 0039 依据所提取的3D世界坐标执行预设的游戏交互机制。 004。
22、0 在本发明所述的游戏交互装置中， 所述从所映射的3D世界坐标空间中提取一至多 个包含五官的脸部特征点的3D世界坐标， 包括： 0041 从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、 右眼瞳孔特征点及鼻尖 特征点的3D世界坐标A(Xa,Ya,Za)、 B(Xb,Yb,Zb)及C(Xc,Yc,Zc)； 0042 分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。 0043 在本发明所述的游戏交互装置中， 所述依据所提取的3D世界坐标执行预设的游戏 说 明 书 2/5 页 6 CN 107648846 A 6 交互机制， 包括： 0044 依据所述左眼。
23、瞳孔特征点、 所述右眼瞳孔特征点及所述鼻尖特征点形成一平面， 所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、 向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb- Ya,Zb-Za)； 0045 计算以所述左眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第一交点T1(Xt1, Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)： 0046 (Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)0 0047 (Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)。
24、(Zt1-Za)0 0048 (Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)0； 0049 计算以所述右眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第二交点T2(Xt2, Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)： 0050 (Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)0 0051 (Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)0 0052 (Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+。
25、(Zb-Za)(Zt2-Zb)0。 0053 在本发明所述的游戏交互装置中， 所述依据所提取的3D世界坐标执行预设的游戏 交互机制， 还包括： 0054 根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的 向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物； 0055 设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述 第二交点T2(Xt2,Yt2,Zt2)； 0056 判断所述虚拟攻击物是否击中所述屏幕中的目标物， 若是， 则计算击中所述目标 物的数量， 并销毁所述虚拟攻击物， 若否， 则销毁。
26、所述虚拟攻击物； 0057 若所击中的目标物的数量达到预设的数量， 则重新获取包含人脸的图像信息。 0058 在本发明所述的游戏交互装置中， 所述依据所提取的3D世界坐标执行预设的游戏 交互机制， 包括： 0059 计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距 离L： 0060 0061 判断所述距离L是否大于预设的阈值， 若是， 则判断为张嘴， 若否， 则判断为闭嘴； 0062 当判断为张嘴时， 于屏幕中释放特效。 0063 上述公开的一种人脸跟踪的游戏交互方法及装置具有以下有益效果： 无需外接其 他游戏输入设备， 降低成本； 使用人脸运动控。
27、制子弹轨迹， 玩家在游戏过程中需进场运动头 部， 有效锻炼脖子肌肉； 玩家在游戏过程中， 眼球需经常运动， 有效锻炼眼球防止近视； 使用 面部动作来控制游戏元素如炮弹、 火焰的发射， 能有效锻炼面部肌肉； 是一种健康的游戏交 互方式。 附图说明 0064 图1为本发明一实施例提供的一种人脸跟踪的游戏交互方法的流程图； 0065 图2为本发明一实施例提供的游戏交互机制的流程图。 说 明 书 3/5 页 7 CN 107648846 A 7 具体实施方式 0066 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具。
28、体实施例仅用以解释本发明， 并不 用于限定本发明。 0067 本发明提供了一种人脸跟踪的游戏交互方法及装置， 其目的在于， 利用手机摄像 头/PC摄像头作为游戏输入设备， 通过人脸位置姿态的跟踪及面部动作跟踪， 来控制打飞机 类游戏子弹飞行的轨迹及发射控制。 这种方法的优点在于： 1)无需外接其他游戏输入设备， 降低成本； 2)使用人脸运动控制子弹轨迹， 玩家在游戏过程中需进场运动头部， 有效锻炼脖 子肌肉； 3)玩家在游戏过程中， 眼球需经常运动， 有效锻炼眼球防止近视； 4)使用面部动作 来控制游戏元素如炮弹、 火焰的发射， 能有效锻炼面部肌肉。 是一种健康的游戏交互方式。 0068 参见。
29、图1， 图1为本发明一实施例提供的一种人脸跟踪的游戏交互方法的流程图， 该人脸跟踪的游戏交互方法可通过计算机程序实现， 具体包括以下步骤S1-S5： 0069 S1、 获取包含人脸的图像信息； 可利用手机摄像头/PC摄像头作为游戏输入设备， 进行人脸位置姿态的跟踪及面部动作跟踪。 0070 S2、 对所述图像信息中的多个脸部特征点进行定位； 例如： 采用ASM主动外观模型 算法， 对脸部68个特征点进行定位， 68个特征点包括眼镜、 瞳孔、 嘴巴、 鼻子等。 0071 S3、 对所定位到的多个所述脸部特征点映射到3D世界坐标空间； 即对脸部68个特 征点进行3D世界坐标映射。 0072 S4、。
30、 从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界 坐标； 针对采用眼睛控制屏幕坐标的实施例， 本实施例提供嘴唇、 鼻尖及瞳孔的应用， 具体 的， 步骤S4包括子步骤S41-S42： 0073 S41、 从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、 右眼瞳孔特征点及 鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、 B(Xb,Yb,Zb)及C(Xc,Yc,Zc)； 0074 S42、 分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。 0075 S5、 依据所提取的3D世界坐标执行预设的游戏交互机制。 参见图2， 本发明提供游。
31、 戏交互机制如下： 0076 第一实施例， 包括步骤S511-S517： 0077 S511、 依据所述左眼瞳孔特征点、 所述右眼瞳孔特征点及所述鼻尖特征点形成一 平面， 所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、 向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb- Xa,Yb-Ya,Zb-Za)； 0078 S512、 计算以所述左眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第一交点T1 (Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)： 0079 (Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+。
32、(Zc-Za)(Zt1-Za)0 0080 (Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)0 0081 (Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)0； 0082 S513、 计算以所述右眼瞳孔特征点为垂足， 所述平面的法线与屏幕的第二交点T2 (Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)： 0083 (Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)0 说 明 书 4/5 页 8 CN 1076488。
33、46 A 8 0084 (Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)0 0085 (Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)0。 0086 在本发明所述的游戏交互方法中， 所述依据所提取的3D世界坐标执行预设的游戏 交互机制， 还包括： 0087 S514、 根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对 应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物； 例如： 该虚拟攻击物为子弹。 0088 S515、 设置所述虚拟攻击。
34、物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1) 及所述第二交点T2(Xt2,Yt2,Zt2)； 即子弹处于屏幕的坐标。 0089 S516、 判断所述虚拟攻击物是否击中所述屏幕中的目标物， 若是， 则计算击中所述 目标物的数量， 并销毁所述虚拟攻击物， 若否， 则销毁所述虚拟攻击物； 例如： 目标物为飞 机， 飞机在屏幕中飞行， 当子弹击中飞机时， 销毁子弹并对击毁的飞机计数。 若没有击中飞 机， 则直接销毁子弹。 0090 S517、 若所击中的目标物的数量达到预设的数量， 则重新获取包含人脸的图像信 息。 0091 第二实施例， 包括步骤S521-S523： 0092 S。
35、521、 计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间 的距离L： 0093 0094 S522、 判断所述距离L是否大于预设的阈值， 若是， 则判断为张嘴， 若否， 则判断为 闭嘴； 0095 S523、 当判断为张嘴时， 于屏幕中释放特效。 例如， 嘴巴喷火来击毁屏幕上移动的 飞机。 0096 本发明还提供一种人脸跟踪的游戏交互装置， 其中存储有多条指令， 所述指令适 于由处理器加载并执行， 从而实现上述方法。 0097 综上所述， 虽然本发明已以优选实施例揭露如上， 但上述优选实施例并非用以限 制本发明， 本领域的普通技术人员， 在不脱离本发明的精神和范围内， 均可作各种更动与润 饰， 因此本发明的保护范围以权利要求界定的范围为准。 说 明 书 5/5 页 9 CN 107648846 A 9 图1 说 明 书 附 图 1/2 页 10 CN 107648846 A 10 图2 说 明 书 附 图 2/2 页 11 CN 107648846 A 11 。