飞行时间组件的控制系统和终端.pdf

《飞行时间组件的控制系统和终端.pdf》由会员分享，可在线阅读，更多相关《飞行时间组件的控制系统和终端.pdf（29页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910232587.1 (22)申请日 2019.03.26 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞市长安镇乌沙海 滨路18号 (72)发明人 杨鑫 (74)专利代理机构 北京清亦华知识产权代理事 务所(普通合伙) 11201 代理人 张润 (51)Int.Cl. H04B 10/40(2013.01) H04B 10/50(2013.01) H04B 10/516(2013.01) G01S 7/484(2006.01) (54)发明。

2、名称 飞行时间组件的控制系统和终端 (57)摘要 本申请公开了一种飞行时间组件的控制系 统和终端。 飞行时间组件包括激光光源、 扩散器 及传感器。 控制系统包括集成在传感器上的调制 模块、 光电转换器、 应用处理器及驱动芯片。 调制 模块内存储有多种调制方式。 光电转换器接收由 激光光源发射并被扩散器反射的激光并转换成 电信号。 应用处理器在电信号满足预设条件时， 控制传感器调用对应的调制方式。 驱动芯片与传 感器连接以接收对应的调制方式， 驱动芯片与激 光光源连接， 并用于驱动激光光源以对应的调制 方式发射激光， 从而可以防止激光光源发射激光 伤害到用户， 确保用户使用终端的安全性。 权利要。

3、求书2页 说明书11页 附图15页 CN 109831255 A 2019.05.31 CN 109831255 A 1.一种飞行时间组件的控制系统， 其特征在于， 所述飞行时间组件包括激光光源、 扩散 器及传感器， 所述控制系统包括： 集成在所述传感器上的调制模块， 所述调制模块内存储有多种调制方式； 光电转换器， 所述光电转换器接收由所述激光光源发射并被所述扩散器反射的激光并 转换成电信号； 应用处理器， 所述应用处理器在所述电信号满足预设条件时， 控制所述传感器调用对 应的所述调制方式； 及 驱动芯片， 所述驱动芯片与所述传感器连接以接收对应的所述调制方式， 所述驱动芯 片与所述激光光源。

4、连接， 并用于驱动所述激光光源以对应的所述调制方式发射激光。 2.根据权利要求1所述的控制系统， 其特征在于， 多种所述调制方式包括固有调制方式 和安全调制方式， 所述应用处理器在所述电信号满足所述预设条件时， 控制所述传感器调 用所述安全调制方式。 3.根据权利要求2所述的控制系统， 其特征在于， 所述安全调制方式的脉宽参数小于所 述固有调制方式的脉宽参数； 和/或 所述安全调制方式的电流参数小于所述固有调制方式的电流参数； 和/或 所述安全调制方式的功率参数小于所述固有调制方式的功率参数； 和/或 所述安全调制方式的帧率参数小于所述固有调制方式的帧率参数。 4.根据权利要求1所述的控制系统。

5、， 其特征在于， 所述驱动芯片与所述光电转换器连接 并接收所述电信号， 所述驱动芯片在所述电信号满足预定条件时， 关闭所述激光光源。 5.根据权利要求1所述的控制系统， 其特征在于， 所述驱动芯片与所述光电转换器连接 并接收所述电信号， 所述驱动芯片在所述电信号满足预定条件时， 发送关闭控制信号至所 述应用处理器以关闭所述激光光源。 6.根据权利要求2所述的控制系统， 其特征在于， 当所述激光光源以所述安全调制方式 发射所述激光且所述电信号满足预定条件时， 所述应用处理器根据所述飞行时间组件获取 的深度图像和红外图像判断所述光电转换器损坏或所述扩散器异常。 7.根据权利要求6所述的控制系统， 。

6、其特征在于， 所述应用处理器计算所述飞行时间组 件当前获取的深度图像与历史获取的深度图像之间的深度差值、 以及所述飞行时间组件当 前获取的红外图像与历史获取的红外图像之间的灰度差值， 并根据所述深度差值和所述灰 度差值判断所述光电转换器损坏或所述扩散器异常。 8.根据权利要求2所述的控制系统， 其特征在于， 当所述激光光源以所述安全调制方式 发射所述激光且所述电信号满足预定条件时， 所述应用处理器根据可见光相机获取的可见 光图像、 以及所述飞行时间组件获取的深度图像和红外图像判断所述光电转换器损坏或所 述扩散器异常。 9.根据权利要求8所述的控制系统， 其特征在于， 所述应用处理器计算所述飞行。

7、时间组 件当前获取的深度图像与历史获取的深度图像之间的深度差值、 所述飞行时间组件当前获 取的红外图像与历史获取的红外图像之间的灰度差值、 以及所述可见光相机当前获取的可 见光图像与历史获取的可见光图像之间的像素差值， 并根据所述深度差值、 所述灰度差值 和所述像素差值判断所述光电转换器损坏或所述扩散器异常。 10.根据权利要求1所述的控制系统， 其特征在于， 所述飞行时间组件还包括套筒和基 权利要求书 1/2 页 2 CN 109831255 A 2 板， 所述控制系统还包括检测电路， 所述检测电路包括设置在所述扩散器上的透光导电膜 和设置在所述套筒和所述基板上的金属接线， 所述检测电路与所。

8、述应用处理器连接， 所述 应用处理器在所述电信号满足预定条件且所述检测电路输出的检测信号满足设定条件时， 判断为所述扩散器异常， 及在所述电信号满足所述预定条件而所述检测电路输出的检测信 号不满足所述设定条件时判断为所述光电转换器损坏。 11.根据权利要求1所述的控制系统， 其特征在于， 所述光电转换器的数量为多个， 所述 驱动芯片与多个所述光电转换器均连接并接收多个所述电信号， 所述应用处理器根据多个 所述电信号判断所述扩散器是否异常。 12.根据权利要求11所述的控制系统， 其特征在于， 所述应用处理器在一个所述电信号 满足预定条件时， 判断为与一个所述电信号对应的所述光电转换器损坏； 所。

9、述应用处理器 在多个所述电信号均满足所述预定条件时， 判断为所述扩散器异常。 13.一种终端， 其特征在于， 包括： 飞行时间组件； 及 权利要求1至12任意一项所述的飞行时间组件的控制系统， 所述控制系统与所述飞行 时间组件连接。 权利要求书 2/2 页 3 CN 109831255 A 3 飞行时间组件的控制系统和终端 技术领域 0001 本申请涉及消费性电子技术领域， 特别涉及一种飞行时间组件的控制系统和终 端。 背景技术 0002 飞行时间(Time of Flight,TOF)组件可通过计算光发射器发射激光的时刻， 与光 接收器接收到激光的时刻之间的时间差来计算被测物体的深度信息。 。

10、激光光源发射的光通 常为红外激光， 当光发射器发生异常时， 出射的红外激光容易伤害到用户。 发明内容 0003 本申请实施方式提供了一种飞行时间组件的控制系统和终端。 0004 本申请实施方式的飞行时间组件的控制系统， 所述飞行时间组件包括激光光源、 扩散器及传感器， 所述控制系统包括集成在所述传感器上的调制模块、 光电转换器、 应用处 理器及驱动芯片； 所述调制模块内存储有多种调制方式； 所述光电转换器接收由所述激光 光源发射并被所述扩散器反射的激光并转换成电信号； 所述应用处理器在所述电信号满足 预设条件时， 控制所述传感器调用对应的所述调制方式； 所述驱动芯片与所述传感器连接 以接收对应。

11、的所述调制方式， 所述驱动芯片与所述激光光源连接， 并用于驱动所述激光光 源以对应的所述调制方式发射激光。 0005 本申请实施方式的终端包括飞行时间组件和上述的飞行时间组件的控制系统， 所 述控制系统与所述飞行时间组件连接。 0006 本申请实施方式的飞行时间组件的控制系统和终端在光电转换器输出的电信号 满足预设条件时， 控制传感器调用对应的调制方式， 以使驱动芯片驱动激光光源以该对应 的调制方式发射激光， 从而可以防止激光光源发射激光伤害到用户， 确保用户使用终端的 安全性。 0007 本申请实施方式的附加方面和优点将在下面的描述中部分给出， 部分将从下面的 描述中变得明显， 或通过本申请。

12、的实践了解到。 附图说明 0008 本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中 将变得明显和容易理解， 其中： 0009 图1是本申请某些实施方式的终端的结构示意图。 0010 图2是本申请某些实施方式的飞行时间组件及控制系统的结构示意图。 0011 图3是本申请某些实施方式的控制系统的模块示意图。 0012 图4至图7是本申请某些实施方式的固有调制方式和安全调制方式的波形示意图。 0013 图8是本申请某些实施方式的控制系统的模块示意图。 0014 图9和图10是本申请某些实施方式的判断扩散器异常的流程示意图。 说明书 1/11 页 4 CN 109831255 。

13、A 4 0015 图11是本申请某些实施方式的控制系统的模块示意图。 0016 图12至图16是本申请某些实施方式的判断光电转换器损坏或扩散器异常的流程 示意图。 0017 图17是本申请某些实施方式的控制系统的模块示意图。 0018 图18和图19是本申请某些实施方式的飞行时间组件及控制系统的结构示意图。 0019 图20是本申请某些实施方式的透光导电膜的分布示意图。 0020 图21是本申请某些实施方式的判断光电转换器损坏或扩散器异常的流程示意图。 0021 图22是本申请某些实施方式的控制系统的模块示意图。 0022 图23是本申请某些实施方式的飞行时间组件及控制系统的结构示意图。 00。

14、23 图24和图25是本申请某些实施方式的判断光电转换器损坏或扩散器异常的流程 示意图。 具体实施方式 0024 下面详细描述本申请的实施方式， 所述实施方式的示例在附图中示出， 其中， 相同 或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。 下面通过参 考附图描述的实施方式是示例性的， 仅用于解释本申请的实施方式， 而不能理解为对本申 请的实施方式的限制。 0025 请参阅图1和图2， 本申请实施方式的终端100包括飞行时间组件10及控制系统20。 终端10可以利用控制系统20控制飞行时间组件10获取目标物体的深度信息， 以利用深度信 息进行测距、 建模等操作。 终端10。

15、0具体可以是手机、 平板电脑、 遥控器、 智能穿戴设备等， 终 端100还可以是安装在移动平台(例如无人机、 汽车等)上的外挂设备。 本申请实施例以终端 100是手机为例进行说明， 可以理解， 终端100的具体形式不限于手机。 在如图1所示的例子 中， 终端100包括壳体30， 壳体30可用于安装飞行时间组件10及控制系统20。 0026 请参阅图1， 飞行时间组件10可以安装在壳体30内， 具体地， 在一个例子中， 壳体30 上开设有通孔， 飞行时间组件10安装在壳体30内并与通孔对准， 通孔可以开设在壳体30的 正面或背面； 在另一个例子中， 飞行时间组件10安装在壳体30内且对准显示屏4。

16、0， 即设置在 显示屏40下， 飞行时间组件10发射的激光穿过显示屏40进入外界， 或者经外界物体反射回 的激光穿过显示屏40由飞行时间组件10接收。 0027 请结合图2， 飞行时间组件10包括光发射器11、 光接收器12和基板13。 光发射器11 和光接收器12均设置在基板13上， 具体地， 光发射器11与光接收器12可以设置在同一个基 板13上(如图2所示)， 光发射器11与光接收器12也可以分别设置在两个独立的基板13上(图 未示)。 0028 光发射器11包括激光光源111、 扩散器(diffuser)112及套筒115。 套筒115设置在 基板13上， 套筒115与基板13围成有收。

17、容腔110， 激光光源111和扩散器112均收容在收容腔 110内。 激光光源111可以是垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser,VCSEL)， 激光光源111可用于发射激光， 激光可为红外激光， 其波长可以是940纳米， 红外激光可以具备均匀的光斑图案。 扩散器112设置在激光光源111的发光光路上， 激光光 源111发射的激光经扩散器112扩散， 以更均匀地向外界空间中发射。 同时， 扩散器112还会 反射部分激光。 在本申请实施例中， 激光光源111发射的激光为激光脉冲， 激光脉冲的波形 说明书 2/11 页 5 CN 10983。

18、1255 A 5 为方波， 即在高电平时激光光源111发射激光脉冲， 在低电平时激光光源111不发射激光脉 冲， 以避免持续向外界发射激光而伤害到用户， 另外， 激光光源111发射的激光强度也不能 超过预定的安全阈值。 0029 光接收器12包括透镜121及传感器122。 激光从光发射器11中射出后到达目标物 体， 在目标物体的反射作用下， 激光返回到光接收器12并由光接收器12接收， 具体地， 被反 射的激光穿过透镜121后被传感器122接收。 通过计算激光光源111发射激光的时刻与传感 器122接收到被反射回的激光的时刻之间的时间差， 可以计算得到目标物体相对于飞行时 间组件10的深度(即。

19、， 距离)。 0030 请参阅图2和图3， 控制系统20可以与飞行时间组件10连接， 控制系统20可以控制 飞行时间组件10发射和接收激光。 0031 控制系统20包括光电转换器21、 驱动芯片22和应用处理器23。 0032 光电转换器21具体可以是光电二极管(Photo-Diode,PD)， 光电转换器21在接收由 激光光源111发射并被到扩散器112反射回的激光后， 可以将接收到的激光转换成电信号， 激光的强度越大， 则电信号的强度也越大。 光电转换器21可以设置在收容腔110内。 在如图2 所示的例子中， 光电转换器21设置在基板13上并位于激光光源111附近， 光电转换器21的收 光。

20、面与激光光源111的光轴垂直。 当然， 光电转换器21在光发射器11内的具体位置不限于上 述举例， 例如， 光电转换器21还可以设置在套筒115的内侧壁116上， 光电转换器21的收光面 与激光光源111的光轴垂直等。 在本申请的实施例中， 光电转换器21接收由激光光源111发 射并被扩散器112反射的激光并转换成电信号。 电信号可以表征由扩散器112反射回的激光 的特征， 进一步用来判断扩散器112是否异常(异常可为脱落或破裂， 其中脱落可以是完全 脱落或不完全脱落)。 可以理解， 在驱动芯片22提供的脉冲信号固定的情况下， 若扩散器112 正常工作， 则扩散器112反射回的激光的强度应该趋。

21、近于一个预定强度值， 对应地， 光电转 换器21输出的电信号也应该趋近于一个预定电信号的值； 但若扩散器112破裂或脱落， 扩散 器112反射回的激光的强度较低， 光电转换器21输出的电信号也会相应降低， 甚至为零。 0033 驱动芯片22可以设置在基板13上。 驱动芯片22与激光光源111、 光电转换器21、 应 用处理器23均连接， 其中， 驱动芯片22可以与应用处理器23直接连接(如图8所示)或间接连 接。 当应用处理器23与驱动芯片22间接连接时， 应用处理器23与传感器122连接， 传感器122 与驱动芯片22连接。 驱动芯片22在接收应用处理器23直接发送的或应用处理器23通过传感。

22、 器122发送的开启光发射器11的指令后会向光发射器11中的激光光源111提供脉冲信号， 以 驱动激光光源111发射激光。 0034 控制系统20还可包括集成在传感器122上的调制模块24。 调制模块24内存储有多 种调制方式， 例如固有调制方式和安全调制方式。 其中， 与固有调制方式相比， 在安全调制 方式下， 脉冲信号的脉宽参数、 电流参数、 功率参数、 帧率参数中的至少一个参数小于固有 调制方式下的脉冲信号的对应参数。 例如， 安全调制方式的脉宽参数小于固有调制方式的 脉宽参数(如图4所示)； 或者， 安全调制方式的电流参数小于固有调制方式的电流参数(如 图5所示)； 或者， 安全调制方。

23、式的功率参数小于固有调制方式的功率参数(如图6所示)； 或 者， 安全调制方式的帧率参数小于固有调制方式的帧率参数(如图7所示)； 或者， 安全调制 方式的功率参数小于固有调制方式的功率参数， 并且安全调制的帧率参数小于固有调制方 式的帧率参数； 或者， 安全调制方式的脉宽参数小于固有调制方式的脉宽参数， 安全调制方 说明书 3/11 页 6 CN 109831255 A 6 式的电流参数小于固有调制方式的电流参数， 并且安全调制方式的功率参数小于固有调制 方式的功率参数； 或者， 安全调制方式的脉宽参数小于固有调制方式的脉宽参数， 安全调制 方式的电流参数小于固有调制方式的电流参数， 安全调。

24、制方式的功率参数小于固有调制方 式的功率参数， 并且安全调制的帧率参数小于固有调制方式的帧率参数等等， 在此不一一 列举。 0035 请参阅图3， 在某些实施方式中， 应用处理器23与光电转换器21连接， 应用处理器 23可以接收光电转换器21输出的电信号， 并判断电信号是否满足预设条件， 在电信号满足 预设条件时， 应用处理器23控制传感器122调用对应的调制方式。 具体地， 在电信号不满足 预设条件时， 应用处理器23控制传感器122调用固有调制方式， 驱动芯片22接收传感器122 发送的固有调制方式， 并驱动激光光源111以固有调制方式发射激光； 在电信号满足预设条 件时， 应用处理器2。

25、3控制传感器122调用安全调制方式， 驱动芯片22接收传感器122发送的 安全调制方式， 并驱动激光光源111以安全调制方式发射激光。 在本申请的实施例中， 电信 号为电流信号， 电信号满足预设条件为电流值小于第一电流阈值(下同)。 当电流值小于第 一电流阈值即表明扩散器112可能存在异常， 此时应用处理器23控制传感器122调用安全调 制方式， 即是降低脉宽参数、 电流参数、 功率参数、 帧率参数中的至少一个参数， 从而可以降 低激光光源111发射的激光强度， 确保人眼安全。 0036 本申请实施方式的飞行时间组件10的控制系统20和终端100在光电转换器21输出 的电信号满足预设条件时， 。

26、控制传感器122调用对应的调制方式， 以使驱动芯片22驱动激光 光源111以该对应的调制方式发射激光， 从而可以防止激光光源111发射激光伤害到用户， 确保用户使用终端100的安全性。 0037 请参阅图8和图9， 在某些实施方式中， 驱动芯片22还可以接收光电转换器21输出 的电信号， 并在电信号满足预定条件时， 认为扩散器112出现异常， 此时驱动芯片22关闭激 光光源111。 其中， 电信号满足预定条件指的是电流值小于第二电流阈值(下同)， 包括电流 值为零的情况， 第二电流阈值小于第一电流阈值。 例如， 第一电流阈值为2A， 第二电流阈值 为1A， 若光电转换器21输出的电流值为2.5。

27、A， 则激光光源111以固有调制方式发射激光； 若 光电转换器21输出的电流值为1.5A， 则激光光源111以安全调制方式发射激光； 若光电转换 器21输出的电流值为0.5A， 则认为扩散器112异常， 驱动芯片22停止向激光光源111提供脉 冲信号以关闭激光光源111。 0038 请参阅图8和图9， 在某些实施方式中， 驱动芯片22还可以接收光电转换器21输出 的电信号， 并在电信号满足预定条件时， 认为扩散器112出现异常， 此时驱动芯片22发送关 闭控制信号至应用处理器23以关闭激光源111。 应用处理器23关闭激光光源111可以有多种 方式： 例如， 应用处理器23发送关闭激光光源11。

28、1的指令给驱动芯片22(或应用处理器23先 发给传感器122， 再由传感器122发给驱动芯片22)， 驱动芯片22接收到指令后停止向激光光 源111提供脉冲信号以关闭激光光源111； 又例如， 应用处理器23停止向激光光源111提供使 能信号， 以关闭激光光源111； 再例如， 控制系统20还包括电源模块(图未示)， 电源模块与激 光光源111连接并用于向激光光源111供电， 应用处理器23发送关闭激光光源111的指令给 电源模块， 电源模块接收到指令后断开给激光光源111的供电。 可以理解， 应用处理器23关 闭激光光源111的方式并不限于上述举例。 0039 请参阅图8和图10， 可以理解。

29、， 上述通过驱动芯片22关闭激光光源111的方式以及 说明书 4/11 页 7 CN 109831255 A 7 驱动芯片22发送关闭控制信号至应用处理器23以关闭激光光源111的方式中， 均是在电信 号满足预定条件时立即关闭激光光源111。 电信号满足预定条件(输出的电流值为较弱或为 零)实际可能由于以下两种原因导致： (1)扩散器112从套筒115脱落， 激光光源111发射的激 光没有被扩散器112反射， 而是全部出射到外界空间中， 此时光电转换器21接收不到被反射 回的激光； (2)驱动芯片22自身出现异常， 无法正常执行接收光电转换器21输出的电信号的 操作。 但无论是何种原因导致电信。

30、号满足预定条件， 均会立即关闭激光光源111。 进一步地， 在某些实施方式中， 激光光源111关闭后， 应用处理器23执行复位驱动芯片22的操作， 此时 激光光源111也会重启。 在驱动芯片22复位后， 若电信号仍满足预定条件， 则说明是扩散器 112异常导致光电转换器21收不到激光而没有电信号输出， 此时可关闭激光光源111； 若电 信号不满足预定条件， 则说明是驱动芯片22出现异常， 此时驱动芯片22不关闭激光光源111 或驱动芯片22不发送关闭控制信号至应用处理器23以关闭激光光源111。 0040 本申请实施方式的飞行时间组件10的控制系统20和终端100根据光电转换器21输 出的电信。

31、号来判断扩散器112是否异常， 并在扩散器112异常时及时关闭激光光源111， 如 此， 在扩散器112异常时， 光发射器11不会向外界空间发射能量较强的激光， 可以确保用户 使用终端100的安全性。 0041 请参阅图3和图11， 在某些实施方式中， 当激光光源111以安全调制方式发射激光 且电信号满足预定条件时， 应用处理器23根据飞行时间组件10获取的深度图像和红外图像 判断是光电转换器21损坏还是扩散器112异常， 并可在扩散器112异常时， 关闭激光光源 111。 0042 具体地， 应用处理器23控制激光光源111在安全调制方式下发射激光， 并控制光接 收器12接收被目标物体反射回。

32、的激光。 应用处理器23根据光接收器12接收的激光计算光发 射器11发射激光的时刻与光接收器12接收激光的时刻之间的时间差， 并根据光速和时间差 计算得到当前的深度图像。 应用处理器23还可以根据光接收器12接收的激光计算得到一张 红外图像。 随后， 应用处理器23计算飞行时间组件10当前获取的深度图像与历史获取的深 度图像之间的深度差值、 以及飞行时间组件10当前获取的红外图像与历史获取的红外图像 之间的灰度差值， 并根据深度差值和灰度差值判断是光电转换器21损坏还是扩散器112异 常。 其中， 历史获取的深度图像指的是在飞行时间组件10第一次使用的时刻至当前的时刻 这一时间段(不包含当前的。

33、时刻)中， 飞行时间组件10获取的所有深度图像， 历史获取的红 外图像指的是在飞行时间组件10第一次使用的时刻至当前的时刻这一时间段(不包含当前 的时刻)中， 飞行时间组件10获取的所有红外图像， 其中， 深度图像与红外图像是一一对应 的， 即每次飞行时间组件10获取一张深度图像时， 还会对应获取一张红外图像。 历史获取的 深度图像和红外图像可以形成一个数据库存储在终端100的存储器50(图1所示)中， 如此， 应用处理器23可以随时从存储器50中读取这两种图像； 或者， 历史获取的深度图像和红外 图像也可以形成一个数据库存储在云服务器上， 终端100与云服务器通信， 如此， 历史获取 的深度。

34、图像和红外图像不会占用终端100的存储器50的存储空间。 0043 请参阅图12， 在一个实施方式中， 应用处理器23获取到当前的深度图像和当前的 红外图像后， 将当前的深度图像与数据库中的历史的深度图像进行比对， 并将当前的红外 图像与数据库中的历史的红外图像进行比对。 具体地， 应用处理器23可以计算当前深度图 像中每一个像素的深度值与每一张历史深度图像中对应位置的像素的深度值之间的差值 说明书 5/11 页 8 CN 109831255 A 8 以得到多个差值， 再将多个差值的绝对值累加得到当前深度图像与历史深度图像的深度差 值。 如此， 即可得到与多张历史深度图像一一对应的多个深度差值。

35、。 应用处理器23从多个深 度差值中找到最小的深度差值， 并将该深度差值与预设深度差值进行比较， 若该深度差值 大于预设深度差值， 则应用处理器23判定扩散器112异常， 光电转换器21未损坏， 此时可关 闭激光光源111。 若该深度差值小于或等于预设深度差值， 则应用处理器23进一步寻找与该 深度差值的历史深度图像对应的历史红外图像， 并计算当前红外图像的每一个像素的灰度 值与选定的历史红外图像的对应位置的像素的灰度值之间的差值， 再将多个差值的绝对值 累加得到当前红外图像与历史红外图像之间的灰度差值， 若灰度差值大于预设灰度差值， 则判定扩散器112异常， 光电转换器21未损坏， 此时可关。

36、闭激光光源111； 若灰度差值小于或 等于预设灰度差值， 则判定光电转换器21损坏， 扩散器112未出现异常， 此时激光光源111由 安全调制方式切换为以固有调制方式发射激光。 0044 请参阅图13， 在另一个实施方式中， 应用处理器23获取到当前的深度图像和当前 的红外图像后， 将当前的红外图像与数据库中的历史的红外图像进行比对， 并将当前的深 度图像与数据库中的历史的深度图像进行比对。 具体地， 应用处理器23可以计算当前红外 图像中每一个像素的灰度值与每一张历史红外图像中对应位置的像素的灰度值之间的差 值以得到多个差值， 再将多个差值的绝对值累加得到当前红外图像与历史红外图像的灰度 差。

37、值。 如此， 即可得到与多张历史红外图像一一对应的多个灰度差值。 应用处理器23从多个 灰度差值中找到最小的灰度差值， 并将该灰度差值与预设灰度差值进行比较， 若该灰度差 值大于预设灰度差值， 则应用处理器23判定扩散器112异常， 光电转换器21未损坏， 此时可 关闭激光光源111。 若该灰度差值小于或等于预设灰度差值， 则应用处理器23进一步寻找与 该灰度差值的历史红外图像对应的历史深度图像， 并计算当前深度图像的每一个像素的深 度值与选定的历史深度图像的对应位置的像素的深度值之间的差值， 再将多个差值的绝对 值累加得到当前深度图像与历史深度图像之间的深度差值， 若深度差值大于预设深度差 。

38、值， 则判定扩散器112异常， 光电转换器21未损坏， 此时可关闭激光光源111； 若深度差值小 于或等于预设深度差值， 则判定光电转换器21损坏， 扩散器112未出现异常， 此时激光光源 111由安全调制方式切换为以固有调制方式发射激光。 0045 请参阅图14， 在又一个实施例中， 应用处理器23获取到当前的深度图像和当前的 红外图像后， 将当前的深度图像与数据库中的历史的深度图像进行比对， 并将当前的红外 图像与数据库中的历史的红外图像进行比对。 具体地， 应用处理器23可以计算当前深度图 像中每一个像素的深度值与每一张历史深度图像中对应位置的像素的深度值之间的差值 以得到多个差值， 再。

39、将多个差值的绝对值累加得到当前深度图像与历史深度图像的深度差 值。 如此， 即可得到与多张历史深度图像一一对应的多个深度差值。 应用处理器23从多个深 度差值中找到值最小的深度差值， 从而确定出该最小的深度差值对应的历史深度图像。 应 用处理器23再计算计算当前红外图像中每一个像素的灰度值与每一张历史红外图像中对 应位置的像素的灰度值之间的差值以得到多个差值， 再将多个差值的绝对值累加得到当前 红外图像与历史红外图像的灰度差值。 如此， 即可得到与多张历史红外图像一一对应的多 个灰度差值。 应用处理器23从多个灰度差值中找到值最小的灰度差值， 从而确定出该最小 的灰度差值对应的历史红外图像。 。

40、应用处理器23判断最小的深度差值是否大于预设深度差 值、 最小的灰度差值是否大于预设灰度差值、 以及最小的深度差值对应的历史深度图像和 说明书 6/11 页 9 CN 109831255 A 9 最小的灰度差值对应的历史红外图像是否为相对应的一组图像， 在最小的深度差值小于或 等于预设深度差值、 最小的灰度差值小于或等于预设灰度差值、 并且最小的深度差值对应 的历史深度图像和最小的灰度差值对应的历史红外图像为相对应的一组图像时， 判定光电 转换器21损坏， 激光光源111由安全调制方式切换为以固有调制方式发射激光； 否则判定扩 散器112异常， 关闭激光光源111。 0046 也即是说， 当应。

41、用处理器23在数据库中找到与当前深度图像匹配度高于某一预定 值的历史深度图像， 并且在数据库中找到与当前红外图像匹配度高于某一预定值的历史红 外图像， 并且找到的历史深度图像与找到的历史红外图像为相对应的一组图像时， 才确认 是光电转换器21损坏， 否则认为是扩散器112异常。 0047 其中， 计算当前深度图像与历史深度图像之间的深度差值的方式还可以是： 应用 处理器23将当前深度图像划分为多个当前深度区域， 对应地， 将历史深度图像划分为多个 历史深度区域， 多个当前深度区域与多个历史深度区域一一对应。 应用处理器23首先计算 每个当前深度区域的多个深度值的平均值， 再计算每个历史深度区域。

42、中多个深度值的平均 值。 随后， 应用处理器23计算每一个当前深度区域的深度值的平均值与对应的历史深度区 域的深度值的平均值之间的差值， 得到与多个当前深度区域一一对应的多个差值， 再将多 个差值的绝对值累加得到当前深度图像与历史深度图像之间的深度差值。 0048 同样地， 计算当前红外图像与历史红外图像之间的灰度差值的方式还可以是： 应 用处理器23将当前红外图像划分为多个当前红外区域， 对应地， 将历史红外图像划分为多 个历史红外区域， 多个当前红外区域与多个历史红外区域一一对应。 应用处理器23首先计 算每个当前红外区域的多个灰度值的平均值， 再计算每个历史红外区域中多个灰度值的平 均值。

43、。 随后， 应用处理器23计算每一个当前红外区域的灰度值的平均值与对应的历史红外 区域的灰度值的平均值之间的差值， 得到与多个当前红外区域一一对应的多个差值， 再将 多个差值的绝对值累加得到当前红外图像与历史红外图像之间的灰度差值。 0049 可以理解， 扩散器112出现异常会影响深度图像和红外图像的获取。 扩散器112异 常时， 飞行时间组件10获取的当前深度图像和当前红外图像与历史数据不符。 具体地， 当扩 散器112脱落时， 激光光源111发射的激光没有经过扩散器112的扩散直接出射， 与扩散器 112正常工作时相比， 扩散器112脱落时光发射器11的视场远小于扩散器112正常工作时光 。

44、发射器11的视场， 获取的当前深度图像中， 除中心区域外的剩余的大部分区域的像素无法 获取深度值。 并且， 扩散器112脱落时， 激光没有经过扩散器112的衰减作用直接出射， 出射 的激光的能量较高， 与扩散器112正常工作时相比， 扩散器112脱落时飞行时间组件10获取 的红外图像的灰度要大于扩散器112正常工作时飞行时间组件10获取的红外图像的灰度。 因此， 可以将当前深度图像与从多张历史深度图像中找到的匹配度最高的一张历史深度图 像作对比， 并将当前红外图像与从多张历史红外图像中找到的匹配度最高的一张历史红外 图像作对比， 若深度差值未大于预设深度差值、 灰度差值未大于预设灰度差值且选定。

45、的历 史深度图像与选定的历史红外图像为关联的一组图像则说明光电转换器21损坏， 扩散器 112可以正常工作。 同样地， 当扩散器112破裂时， 从破裂位置出射的激光的能量较高， 与扩 散器112正常工作时相比， 扩散器112破裂时飞行时间组件10获取的红外图像的灰度要大于 扩散器112正常工作时飞行时间组件10获取的红外图像的灰度。 此时， 虽然可能出现当前深 度图像与从多张历史红外图像中找到的匹配度最高的一张历史红外图像的深度差值小于 说明书 7/11 页 10 CN 109831255 A 10 或等于预设深度差值的情况， 但是当前红外图像与从多张历史红外图像中找到的匹配度最 高的一张历史。

46、红外图像之间的红外差值还是会大于预设灰度差值， 因此， 仍旧可以分辨出 扩散器112破裂的情况。 其中， 限定选定的历史深度图像和选定的历史红外图像应为相对应 的一组图像是为了进一步检验当前深度图像和当前红外图像与历史数据的匹配度， 提升光 电转换器21损坏或扩散器112异常的判断的准确度。 0050 在某些实施方式中， 终端100还包括可见光相机60(如图1所示)。 当激光光源111以 安全调制方式发射激光且电信号满足预定条件时， 应用处理器43可接收可见光相机60获取 的可见光图像， 并根据可见光相机60获取的可见光图像、 飞行时间组件10获取的深度图像 和红外图像判断是光电转换器21损坏。

47、还是扩散器112异常， 并可在扩散器112器异常时， 关 闭激光光源111。 0051 具体地， 应用处理器23控制飞行时间组件10获取深度图像和红外图像， 并同时控 制可见光相机60获取可见光图像。 随后， 应用处理器23计算飞行时间组件10当前获取的深 度图像与历史获取的深度图像之间的深度差值、 飞行时间组件10当前获取的红外图像与历 史获取的红外图像之间的灰度差值、 以及可见光相机60当前获取的可见光图像与历史获取 的可见光图像之间的色彩差值， 并根据深度差值、 灰度差值和色彩差值判断是光电转换器 21损坏还是扩散器112异常。 其中， 历史获取的深度图像指的是在飞行时间组件10第一次使。

48、 用的时刻至当前的时刻这一时间段(不包含当前的时刻)中， 飞行时间组件10获取的所有深 度图像， 历史获取的红外图像指的是在飞行时间组件10第一次使用的时刻至当前的时刻这 一时间段(不包含当前的时刻)中， 飞行时间组件10获取的所有红外图像， 历史获取的可见 光图像是在飞行时间组件10第一次使用的时刻至当前的时刻这一时间段(不包含当前的时 刻)中， 每一次行飞行时间组件10开启时可见光相机60对应开启并获取到的可见光图像， 其 中， 深度图像、 红外图像、 可见光图像是一一对应的， 即每次飞行时间组件10获取一张深度 图像时， 还会对应获取一张红外图像， 并且可见光相机60会对应获取一张可见光。

49、图像。 历史 获取的深度图像、 红外图像和可见光图像可以形成一个数据库存储在终端100的存储器50 中或者存储在云服务器上。 需要说明的是， 可见光图像可以是去马赛克之前的图像， 此时每 个像素的色彩由R、 G、 B三者中的任意一个表示； 可见光图像也可以是去马赛克之后(即插值 之后)的图像， 此时每个像素的色彩由R、 G、 B三者共同计算得到。 0052 请参阅图15， 在一个实施方式中， 应用处理器23获取到当前深度图像、 当前红外图 像和当前可见光图像后， 计算当前深度图像与历史深度图像的深度差值， 并从多个深度差 值中找到最小的深度差值， 将该深度差值与预设深度差值进行比较。 若该深度。

50、差值大于预 设深度差值， 则应用处理器23判定扩散器112异常， 光电转换器21未损坏， 此时可关闭激光 光源111。 若该深度差值小于或等于预设深度差值， 则应用处理器23寻找与该深度差值的历 史深度图像对应的历史红外图像， 并计算当前红外图像与历史红外图像的灰度差值， 若灰 度差值大于预设灰度差值， 则应用处理器23判定扩散器112异常， 光电转换器21未损坏， 此 时可关闭激光光源111。 若灰度差值小于或等于预设灰度差值， 则应用处理器23进一步寻找 与该深度差值的历史深度图像对应的可见光图像， 并计算当前可见光图像与历史可见光图 像的色彩差值， 若色彩差值大于预设色彩差值， 则应用处。