一种基于语音或图像识别的车用装定系统.pdf

《一种基于语音或图像识别的车用装定系统.pdf》由会员分享，可在线阅读，更多相关《一种基于语音或图像识别的车用装定系统.pdf（7页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103744309 A (43)申请公布日 2014.04.23 CN 103744309 A (21)申请号 201310739806.8 (22)申请日 2013.12.26 G05B 19/04(2006.01) G06K 9/00(2006.01) (71)申请人 北京理工大学 地址 100081 北京市海淀区中关村南大街 5 号 (72)发明人 舒鑫 娄文忠 (74)专利代理机构 北京理工大学专利中心 11120 代理人 仇蕾安 郭德忠 (54) 发明名称 一种基于语音或图像识别的车用装定系统 (57) 摘要 本发明公开了一种基于语音或图像识别的车 用装定系。

2、统， 属于武器系统信息化和控制技术领 域。 装定器由人机界面模块和装定模块组成， 其中 人机界面模块主要包括摄像头、 语音感测器、 扬声 器、 图像 / 语音存储器、 放大电路、 界面控制电路、 语音资料库存储器和手势特征库存储器 ； 装定模 块包括控制电路、 发送调制电路、 反馈解调电路和 装定接口 ； 操作者通过瞄准镜或其他渠道获得目 标的距离等装定信息后， 将装定信息用事先约定 好的语音或手势进行描述， 通过获得扬声器反馈 的语音信息了解装定效果情况。在装定的同时允 许炮长保持双眼注视瞄准镜的状态， 并且能提高 装定的工作效率和便捷性， 进而改善武器系统的 整体作战效能。 (51)Int。

3、.Cl. 权利要求书 1 页 说明书 4 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书4页 附图1页 (10)申请公布号 CN 103744309 A CN 103744309 A 1/1 页 2 1. 一种基于语音或图像识别的车用装定系统， 其特征在于， 由人机界面模块和装定模 块组成 ； 其中人机界面模块主要包括摄像头、 语音感测器、 扬声器、 图像 / 语音存储器、 放大 电路、 界面控制电路、 语音资料库存储器和手势特征库存储器 ； 装定模块包括控制电路、 发 送调制电路、 反馈解调电路和装定接口 ； 摄像头和语音感测装置分别通过。

4、接线与图像 / 语音存储器相连， 并将采集到的信号传 输给图像/语音存储器 ； 界面控制电路通过接线分别与图像/语音存储器、 手势特征库存储 器、 语音资料存储器、 放大电路相连， 放大电路与扬声器连接 ； 界面控制电路通过数据线与 装定模块控制电路相连， 控制电路分别与发送调制电路和反馈调制电路相连， 发送调制电 路和反馈调制电路与装定接口相连 ； 所述装定系统实现的步骤如下 ： 第一步 ： 语音感测装置和摄像头实时采集车内操作者发出的语音信息或图像信息， 并 将采集的语音信息或图像信息转换成数字信号传输给图像 / 语音存储器 ； 第二步 ： 界面控制电路对图像 / 语音存储器中的信号进行分。

5、割、 特征提取， 经过提取的 特征信息与手势特征信息存储器或语音资料库存储器中的特征信息进行比对， 判断是否为 事先约定好的包括目标信息在内的装定指令信息， 如果不是约定好的装定指令信息的话对 其进行忽略， 如果是约定好的装定指令信息， 界面控制电路将识别出的装定指令信息内容 发送到语音资料库存储器， 界面控制电路从语音资料库存储器中提取与装定指令信息对应 的语音信息， 语音信息经放大电路放大后通过扬声器进行反馈 ； 第三步 ： 如果判定目标距离信息正确， 车内操作者给出发送指令的语音或手势， 界面控 制电路不再通过语音反馈， 直接将目标距离信息发送给核心电路控制进行装定 ； 如果判定 目标距。

6、离信息有误， 则给出取消的指令的语音或手势， 界面控制电路在识别操作者的语音 或手势后不再通过语音反馈， 直接将有误的目标距离信息清空 ； 第四步 ： 目标距离信息发送至控制电路后， 控制电路将目标距离信息解算成弹药作用 时间信息， 控制电路将装定信息发送至发送调制电路， 调制电路将装定信息调制成高频振 荡信号后经过装定接口以有线或者无线传输的方式传送到信息化弹药， 信息化弹药将接收 到的装定信息存储以备使用 ； 第五步 ： 信息化弹药将接收到的装定信息传输给反馈解调电路， 由反馈解调电路将反 馈回的信息解调成数字信号， 进一步由控制电路反馈给界面控制电路， 界面控制电路从语 音资料库存储器中。

7、提取对应的语音指令信息， 传递给放大电路和扬声器， 以语音的形式提 供装定结果的反馈。 2. 如权利要求 1 所述的基于语音或图像识别的车用装定系统， 其特征在于， 所述语音 信息或图像信息是事先约定好的操作者发出的表示目标距离的语音指令信息或手势指令 特征信息 ； 所述图像 / 语音存储器用于暂存语音感测装置和摄像头采集到的数字信号。 3. 如权利要求 1 所述的基于语音或图像识别的车用装定系统， 其特征在于， 所述手势 特征信息存储器内存储事先约定好的手势指令特征信息， 提供给界面控制电路进行对比 ； 所述语音资料库存储器内存储事先约定好的语音指令和语音指令特征信息， 将语音指令提 供给界。

8、面控制电路和放大电路， 经扬声器反馈给操作者， 将语音指令特征信息提供给界面 控制电路进行对比。 权 利 要 求 书 CN 103744309 A 2 1/4 页 3 一种基于语音或图像识别的车用装定系统 技术领域 0001 发明涉及一种在坦克等现代战车上使用的装定系统， 属于武器系统信息化和控制 技术领域。 背景技术 0002 以坦克为代表的现代战车面临着信息化升级的技术课题， 而现有战车一般没有 实现装定器与战车平台的信息互联， 在使用信息化弹药时一般由操作者采用手工装定器， 操作者人工操作装定器的按键， 利用人工按键和手工输入的方式将装定信息输入到装定器 中。但是， 在装定时操作者也需要。

9、同时观察瞄准镜完成对战场观察、 搜索目标、 对目标的瞄 准等工作， 这就造成现有装定方法按键操作错按概率高， 工作效率低的问题。 进而降低了战 车射速、 延长了射击准备时间。 发明内容 0003 有鉴于此， 本发明提供了一种基于语音或图像识别的车用装定系统， 利用操作者 的语音或手势作为装定系统的输入信号， 整个操作过程无需双眼参与， 操作者在装定过程 中可以继续观察、 瞄准， 提高装弹的速度和整个战车的作战效果。 0004 一种基于语音或图像识别的车用装定系统， 由人机界面模块和装定模块组成， 其 中人机界面模块主要包括摄像头、 语音感测器、 扬声器、 图像 / 语音存储器、 放大电路、 界。

10、面 控制电路、 语音资料库存储器和手势特征库存储器 ； 0005 摄像头和语音感测装置分别通过接线与图像 / 语音存储器相连， 并将采集到的信 号传输给图像/语音存储器 ； 界面控制电路通过接线分别与图像/语音存储器、 手势特征库 存储器、 语音资料存储器、 放大电路相连， 放大电路与扬声器连接 ； 界面控制电路通过数据 线与装定模块控制电路相连， 控制电路分别与发送调制电路和反馈调制电路相连， 发送调 制电路和反馈调制电路与装定接口相连 ； 0006 所述装定系统实现的步骤如下 ： 0007 第一步 ： 语音感测装置和摄像头实时采集车内操作者发出的语音信息或图像信 息， 并将采集的语音信息或。

11、图像信息转换成数字信号传输给图像 / 语音存储器 ； 0008 第二步 ： 界面控制电路对图像 / 语音存储器中的信号进行分割、 特征提取， 经过提 取的特征信息与手势特征信息存储器或语音资料库存储器中的特征信息进行比对， 判断是 否为事先约定好的包括目标信息在内的装定指令信息， 如果不是约定好的装定指令信息的 话对其进行忽略， 如果是约定好的装定指令信息， 界面控制电路将识别出的装定指令信息 内容发送到语音资料库存储器， 界面控制电路从语音资料库存储器中提取与装定指令信息 对应的语音信息， 语音信息经放大电路放大后通过扬声器进行反馈 ； 0009 第三步 ： 如果判定目标距离信息正确， 车内。

12、操作者给出发送指令的语音或手势， 界 面控制电路不再通过语音反馈， 直接将目标距离信息发送给核心电路控制进行装定 ； 如果 判定目标距离信息有误， 则给出取消的指令的语音或手势， 界面控制电路在识别操作者的 说 明 书 CN 103744309 A 3 2/4 页 4 语音或手势后不再通过语音反馈， 直接将有误的目标距离信息清空 ； 0010 第四步 ： 目标距离信息发送至控制电路后， 控制电路将目标距离信息解算成弹药 作用时间信息， 控制电路将装定信息发送至发送调制电路， 调制电路将装定信息调制成高 频振荡信号后经过装定接口以有线或者无线传输的方式传送到信息化弹药， 信息化弹药将 接收到的装。

13、定信息存储以备使用 ； 0011 第五步 ： 信息化弹药将接收到的装定信息传输给反馈解调电路， 由反馈解调电路 将反馈回的信息解调成数字信号， 进一步由控制电路反馈给界面控制电路， 界面控制电路 从语音资料库存储器中提取对应的语音指令信息， 传递给放大电路和扬声器， 以语音的形 式提供装定结果的反馈。 0012 所述语音信息或图像信息是事先约定好的操作者发出的表示目标距离的语音指 令信息或手势指令特征信息 ； 所述图像 / 语音存储器用于暂存语音感测装置和摄像头采集 到的数字信号。 0013 所述手势特征信息存储器内存储事先约定好的手势指令特征信息， 提供给界面控 制电路进行对比 ； 所述语音。

14、资料库存储器内存储事先约定好的语音指令和语音指令特征信 息， 将语音指令提供给界面控制电路和放大电路， 经扬声器反馈给操作者， 将语音指令特征 信息提供给界面控制电路进行对比。 0014 有益效果 ： 0015 1、 本发明提出的语音或图像识别的车用装定系统， 可以收到比传统按键式手工装 定器操作更加方便的效果， 改善炮手的操作体验。方便的操作模式有利于缩短弹药装定时 间， 提高战车的射速。 0016 2、 由于装定过程不再需要炮手双眼注视装定器按键， 使炮手在装定过程中还可以 同时进行战场观察、 搜索目标、 瞄准等操作， 改善了战车的作战效果， 进而提高整个战车的 作战效能。 附图说明 00。

15、17 图 1 为本发明的功能模块结构示意图。 具体实施方式 0018 下面结合附图并举实施例， 对本发明进行详细描述。 0019 如附图 1 所示， 本发明提供了一种基于语音或图像识别的车用装定系统， 由人机 界面模块和装定模块组成， 其中人机界面模块主要包括摄像头、 语音感测器、 扬声器、 图像 / 语音存储器、 放大电路、 界面控制电路、 语音资料库存储器和手势特征库存储器 ； 0020 摄像头实时采集操作者手势的图像信息并将采集到的图像信息转换成数字信 号 ； 0021 语音感测器接收声信息并将接收到的声信息转换成数字信号 ； 0022 扬声器以语音的形式提供装定工作情况的反馈 ； 反馈。

16、包括手势 / 语音装定信息的 识别结果情况和引信的实际装定情况 ； 0023 图像 / 语音存储器是一个大容量高速缓存模块， 用于暂存摄像头和语音感测装置 采集到的数据， 实现高速采集电路和低速处理电路之间的速率匹配， 从而降低界面控制电 说 明 书 CN 103744309 A 4 3/4 页 5 路的计算资源开销， 保证系统高速稳定运行 ； 0024 放大电路对界面控制电路传来的声信号进行放大， 并提供给扬声器 ； 0025 界面控制电路是人机界面模块的控制核心， 有三项功能 ： A、 对图像信号或者声信 号进行信号分割、 特征提取等运算， 经过提取的特征信息与手势特征库中存储的手势特征 。

17、信息或语音资料存储库中存储的语音特征信息进行比对， 判断接收到的信息是否是指令信 息， 如果是指令信息， 指令的内容是什么 ； B、 当界面电路识别了装定信息的内容后或者界面 控制电路接收到装定系统反馈回的装定结果信息后， 从语音资料存储器中提取对应的语音 指令信息， 传递给放大电路和扬声器， 以语音的形式给操作者提供识别情况和装定结果的 反馈 ； C、 实现人机界面模块和装定系统模块的通信 ； 0026 语音资料库存储器内存储事先约定好的语音指令特征信息和语音指令， 提供给界 面控制电路进行对比和向放大电路、 扬声器提供识别出的对应反馈信息 ； 0027 手势特征库存储器内存储事先约定好的手。

18、势指令特征信息， 提供给界面控制电路 进行对比 ； 0028 装定模块包括控制电路、 发送调制电路、 反馈解调电路和装定接口 ； 0029 控制电路是装定系统的核心 , 负责将语音人机界面传输来的信息进行进一步的 处理， 有两项功能 ： A、 控制电路通过内置的算法将操作人员通过手势和语音给出的目标距 离信息解算成弹药作用时间信息 ； B、 将解算出的弹药作用时间信息发送给发送调制电路， 接受反馈解调电路的反馈信号， 并能与人机界面模块实现通讯 ； 0030 发送调制电路负责将装定信息进行调制并通过装定接口与弹药实现信息交换 ； 与 控制电路实现信息交换 ； 0031 反馈解调电路负责将装定信。

19、息进行解调并通过装定接口与弹药实现信息交换 ； 与 控制电路实现信息交换 ； 0032 装定接口主要是一个以线圈为主的信息发送装置， 利用分离式变压器的原理与信 息化弹药中的感应线圈实现信息交互。 0033 装定器内部的连接关系 ： 摄像头和语音感测装置分别通过接线与图像 / 语音存储 器并将采集到的信号传输给图像 / 语音存储器 ； 界面控制电路通过接线分别与图像 / 语音 存储器、 手势特征库存储器、 语音资料存储器、 放大电路相连， 放大电路与扬声器连接 ； 界面 控制电路通过数据线与装定模块控制电路相连， 控制电路分别与发送调制电路和反馈调制 电路相连。发送调制电路和反馈调制电路与装定。

20、接口相连。 0034 工作原理 ： 装定器在使用时， 操作者根据实际情况或者个人习惯， 采用约定好手势 或者语音描述装定信息， 摄像头持续实时拍摄图像， 语音感测装置也持续实时接收语音信 息， 图像或语音信息由图像 / 语音存储器暂存， 界面控制电路对信号进行分析， 判断是否含 有事先约定好的指令 ； 当操作者采用事先约定好的手势或语音描述装定信息时， 摄像头或 语音感测装置采集到的图像或语音信息由图像 / 语音存储器暂存， 然后交界面控制电路进 行信号分割、 特征提取， 经过提取的特征信息与手势特征库存储器和语音资料库存储器存 储的特征信息进行比对， 判断是否为装定信息， 如果不是装定信息的。

21、话对其进行忽略， 如果 是装定信息， 界面控制电路将识别出的装定信息内容发送到语音资料存储器， 提取对应的 语音信息， 通过扬声器反馈给操作者， 由操作者判断和确认信息是否准确 ； 操作者确认信息 准确无误后， 给出发送指令的语音或手势， 界面控制电路不再通过语音反馈寻求确认， 直接 说 明 书 CN 103744309 A 5 4/4 页 6 将装定信息发送给装定系统模块进行装定 ； 如果操作者判断信息有误， 则给出取消的指令 的语音或手势， 界面控制电路在识别操作者的语音或手势后不再通过语音反馈寻求确认， 直接将将有误的装定信息清空 ； 在对弹药完成装定后， 控制电路将对弹药装定的结果情况。

22、 反馈给界面控制电路， 界面控制电路从语音资料存储器中提取对应的语音指令信息， 传递 给放大电路和扬声器， 以语音的形式提供装定结果的反馈 ； 操作者通过获得扬声器反馈的 语音信息了解装定效果情况， 并通过装定效果情况判断是否需要重新装定， 覆盖之前的装 定信息。 0035 装定信息发送至装定模块后， 由控制电路将信息发送至发送调制电路， 调制成高 频振荡信号后经过装定接口以有线或者无线 （通过电磁线圈） 传输的方式传送到信息化弹 药， 信息化弹药将接收到的装定信息存储以备使用 ； 之后， 信息化弹药将接收到的信息传输 给反馈解调电路， 由解调电路将反馈回的信息解调成数字信号， 进一步由控制电路反馈给 人机界面模块， 最终由人机界面模块将弹药装定的情况反馈给操作者。 0036 综上所述， 以上仅为本发明的较佳实施例而已， 并非用于限定本发明的保护范围。 凡在本发明的精神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的 保护范围之内。 说 明 书 CN 103744309 A 6 1/1 页 7 图 1 说 明 书 附 图 CN 103744309 A 7 。