《一种采用视频标注进行远程指导的方法.pdf》由会员分享，可在线阅读，更多相关《一种采用视频标注进行远程指导的方法.pdf（10页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201410818011.0(22)申请日 2014.12.24H04L 29/08(2006.01)H04N 7/18(2006.01)(71)申请人 北京佳讯飞鸿电气股份有限公司地址 100095 北京市海淀区北清路中关村环保科技示范园地锦路 5 号院 1 号楼(72)发明人 王志伟(74)专利代理机构 北京汲智翼成知识产权代理事务所 ( 普通合伙 ) 11381代理人 陈曦(54) 发明名称一种采用视频标注进行远程指导的方法(57) 摘要本发明公开了一种采用视频标注进行远程指导的方法，包括如下步骤 ：S1，通过移动终端与调度台建立通。
2、话，通过语音描述将相关故障信息以及现场视频发送到调度台；S2，调度台在视频界面启动标注，移动终端自动将实时视频锁定，并传送到调度台；S3，调度台和移动终端分别在锁定的视频图像上覆盖透明窗口，调度台在透明窗口上进行标注操作 ；并将标注指令传递给移动终端，使移动终端进行同步显示 ；S4，移动终端根据标注操作内容以及语音通话对故障信息进行处理，解除对实时视频图像的锁定 ；S5，重复步骤S1S4，直至所有故障排除完毕。利用本发明，可以使移动终端的维修巡检人员仿佛接受调度台技术支持人员的亲自指导，有效改善使用体验。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2。
3、页 说明书5页 附图2页(10)申请公布号 CN 104506621 A(43)申请公布日 2015.04.08CN 104506621 A1/2 页21.一种采用视频标注进行远程指导的方法，其特征在于包括如下步骤 ：S1，移动终端与调度台建立通话，所述移动终端通过语音描述将相关故障信息以及现场视频发送到调度台 ；S2，调度台接收移动终端的语音描述以及现场视频，在视频界面启动标注，移动终端自动将实时视频锁定，并将锁定的视频图像传送到调度台 ；S3，调度台和移动终端分别在锁定的视频图像上覆盖透明窗口，调度台在透明窗口上进行标注操作 ；并将标注指令传递给移动终端，使移动终端进行同步显示 ；S4，标。
4、注操作结束时移动终端得到停止标注的指令，根据标注操作内容以及语音通话对故障信息进行处理，解除对实时视频图像的锁定 ；S5，重复步骤 S1 S4，直至所有故障排除完毕，调度台将修复完成的指令传递给移动终端，移动终端与调度台之间的通话释放。2.如权利要求 1 所述的采用视频标注进行远程指导的方法，其特征在于 ：在步骤 S1 中，所述移动终端与调度台建立通话时，移动终端首先请求建立通话 ；在请求建立通话过程中，移动终端向服务器提供用户配置信息，进行身份验证，当身份验证成功后，服务器根据用户配置信息将建立通话请求发送到相应的调度台，建立通话 ；当用户配置信息不符合要求时，身份验证失败，服务器拒绝建立通。
5、话请求，并将通话建立失败的信息返回给移动终端。3.如权利要求 1 所述的采用视频标注进行远程指导的方法，其特征在于 ：在标注操作过程中，调度台通过语音与移动终端进行交流讲解。4.如权利要求 1 所述的采用视频标注进行远程指导的方法，其特征在于在步骤 S3 中，所述调度台在透明窗口上进行标注操作，并将标注指令传递给移动终端，移动终端进行同步显示包括如下步骤 ：S31，调度台和移动终端分别将锁定的视频图像上覆盖透明窗口 ；S32，调度台根据锁定的视频图像选取进行醒目标注的标注工具 ；S33，根据故障信息，调度台使用选取的标注工具在透明窗口上进行标注操作，并将相关的标注指令传送到移动终端 ；S34，。
6、移动终端按照标注指令中标注操作的相关信息，将标注操作内容按照调度台进行的标注操作顺序回显出来，使移动终端与调度台进行同步显示 ；S35，调度台依次进行标注操作，直至锁定的视频图像的标注操作全部完成，将停止标注的指令发送到移动终端。5.如权利要求4所述的采用视频标注进行远程指导的方法，其特征在于在步骤S34中，移动终端与调度台进行同步显示调度台包括如下步骤 ：移动终端接收到标注指令，选取与调度台相同的颜色参数以及标注线条的类型 ；根据标注指令中调度台侧的图像坐标信息、标注操作的起始位置、轨迹坐标以及移动终端侧的图像坐标信息，按照相应的缩放比例进行调整，计算出移动终端侧标注操作的起始位置以及轨迹坐。
7、标 ；按照移动终端侧标注操作的起始位置以及轨迹坐标将调度台标注操作的标注类型和标注内容显示在移动终端的透明窗口上。6.如权利要求 1 所述的采用视频标注进行远程指导的方法，其特征在于还包括如下步权 利 要 求 书CN 104506621 A2/2 页3骤：S6，将故障处理过程中的故障描述信息、锁定的视频图像信息以及远程指导信息进行存储，用于故障存储备查。7.如权利要求 6 所述的采用视频标注进行远程指导的方法，其特征在于 ：所述远程指导信息包括远程指导录音信息、标注操作信息以及视频信息。权 利 要 求 书CN 104506621 A1/5 页4一种采用视频标注进行远程指导的方法技术领域0001。
8、 本发明涉及一种远程指导方法，尤其涉及一种在 IP 多媒体调度通信系统中采用视频标注进行远程指导的方法，属于调度通信技术领域。背景技术0002 在远程修理系统、远程维护系统等维修巡检系统的应用场景中，在维修中心有相关技术专家值班 ；维修巡检人员手持具备实时视频通信能力的终端执行巡检维修作业。当维修巡检人员执行具体设备维修作业时，如果需要维修中心的技术专家支持，则会向维修中心的相关技术专家发起技术协助。维修中心的相关技术专家接受请求，打开现场维修巡检人员的移动实时视频，通过远程视频的技术判断，为现场人员做支援。但是，各种维修巡检系统都具备复杂的结构，在很多情况下，仅仅依靠语言的描述很难使维修巡检。
9、人员及时精准地按照相关技术专家的指示，针对具体故障位置做出处理，不利于故障及时排除，严重影响了系统的运行效率。0003 为了解决上述问题，在专利号为 ZL 200710136104.5 的中国发明专利中公开了一种远程指示系统和方法。该远程指示系统包括 ：成像单元，其拍摄对象的图像 ；投影单元，其将标注图像投影在成像单元的成像区域中，标注图像是基于所拍摄的图像发出的指示而形成的 ；和标注调节单元，其根据成像单元的成像区域中的情况，对投影标注图像的条件进行调节。0004 通过该远程指示系统可以减少用于调节标注图像的工作负荷，并且可以顺利地执行远程指示操作。但是，在远程指导过程中，必须依靠投影单元将。
10、标注图像投影在成像单元的成像区域中，然后由标注调节单元根据成像单元的成像区域中的情况对投影标注图像的条件进行调节之后，才能针对标注进行相应的操作，费时费力，不利于故障的及时排除。发明内容0005 本发明所要解决的技术问题在于提供一种采用视频标注进行远程指导的方法。0006 为实现上述发明目的，本发明采用下述的技术方案 ：0007 一种采用视频标注进行远程指导的方法，包括如下步骤 ：0008 S1，通过移动终端与调度台建立通话，所述移动终端通过语音描述将相关故障信息以及现场视频发送到调度台 ；0009 S2，调度台接收移动终端的语音描述以及现场视频，在视频界面启动标注，移动终端自动将实时视频锁定。
11、，并将锁定的视频图像传送到调度台 ；0010 S3，调度台和移动终端分别在锁定的视频图像上覆盖透明窗口，调度台在透明窗口上进行标注操作 ；并将标注指令传递给移动终端，使移动终端进行同步显示 ；0011 S4，标注操作结束时移动终端得到停止标注的指令，根据标注操作内容以及语音通话对故障信息进行处理，解除对实时视频图像的锁定 ；0012 S5，重复步骤 S1 S4，直至所有故障排除完毕，调度台将修复完成的指令传递给说 明 书CN 104506621 A2/5 页5移动终端，移动终端与调度台之间的通话释放。0013 其中较优地，在步骤 S1 中，所述移动终端与调度台建立通话时，移动终端首先请求建立通。
12、话 ；在请求建立通话过程中，移动终端向服务器提供用户配置信息，进行身份验证，当身份验证成功后，服务器根据用户配置信息将建立通话请求发送到相应的调度台，建立通话 ；当用户配置信息不符合要求时，身份验证失败，服务器拒绝建立通话请求，并将通话建立失败的信息返回给移动终端。0014 其中较优地，在标注操作过程中，调度台通过语音与移动终端进行交流讲解。0015 其中较优地，在步骤 S3 中，所述调度台在透明窗口上进行标注操作，并将标注指令传递给移动终端，移动终端进行同步显示包括如下步骤 ：0016 S31，调度台和移动终端分别将锁定的视频图像上覆盖透明窗口 ；0017 S32，调度台根据锁定的视频图像选。
13、取进行醒目标注的标注工具 ；0018 S33，根据故障信息，调度台使用选取的标注工具在透明窗口上进行标注操作，并将相关的标注指令传送到移动终端 ；0019 S34，移动终端按照标注指令中标注操作的相关信息，将标注操作内容按照调度台进行的标注操作顺序回显出来，使移动终端与调度台进行同步显示 ；0020 S35，调度台依次进行标注操作，直至锁定的视频图像的标注操作全部完成，将停止标注的指令发送到移动终端。0021 其中较优地，在步骤 S34 中，所述移动终端与调度台进行同步显示包括如下步骤 ：0022 移动终端接收到标注指令，选取与调度台相同的颜色参数以及标注线条的类型 ；0023 根据标注指令中。
14、调度台侧的图像坐标信息、标注操作的起始位置、轨迹坐标以及移动终端侧的图像坐标信息，按照相应的缩放比例进行调整，计算出移动终端侧标注操作的起始位置以及轨迹坐标 ；0024 按照移动终端侧标注操作的起始位置以及轨迹坐标将调度台标注操作的标注类型和标注内容显示在移动终端的透明窗口上。0025 其中较优地，所述远程指导信息包括远程指导录音信息、标注操作信息以及视频信息。0026 本发明所提供的采用视频标注进行远程指导的方法，通过采用透明窗口实现了对锁定的视频图像的直接操作，使标注操作变得直观、简单。而调度台和移动终端标注操作的同步显示，使移动终端的维修巡检人员能够充分感受故障处理的过程，加之调度台的技。
15、术支持人员通过语音描述每一步操作的意义以及注意事项，使移动终端的维修巡检人员仿佛接受调度台技术支持人员的亲自指导，降低了操作复杂度，提高了处理效率，有效改善了使用体验。附图说明0027 图 1 为本发明提供的采用视频标注进行远程指导的方法的流程图 ；0028 图 2 为调度台在透明窗口上进行标注操作，并在移动终端进行同步显示的流程图。具体实施方式说 明 书CN 104506621 A3/5 页60029 下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。0030 如图 1 所示，本发明提供的采用视频标注进行远程指导的方法具体包括如下步骤 ：当维修巡检人员发现现场故障时，通过移动终端。
16、向调度台发送现场视频 ；调度台的技术支持人员根据维修巡检人员的语音描述和现场视频的播放，在视频界面启动标注，移动终端自动将实时视频锁定，视频图像窗口中呈现静图，并将此静图传送到调度台 ；调度台的技术支持人员在锁定的视频图像上进行标注操作 ；并通过媒体通道，将标注指令传递给移动终端 ；在移动终端的视频图像窗口上回显标注操作内容 ；维修巡检人员根据标注操作内容进行维护。当所有故障排除后，调度台通过媒体通道将停止标注的指令传递给移动终端，移动终端解除对实时视频图像的锁定，视频图像恢复为实时显示，并将故障排除过程中的故障描述信息、锁定的视频图像信息以及远程指导信息进行存储，用于故障存储备查。下面对这一。
17、过程做详细具体的说明。0031 S1，当维修巡检人员发现现场故障时，通过移动终端向调度台请求建立通话 ；通话成功建立后，通过语音描述将相关故障信息以及现场视频发送到调度台。0032 当维修巡检人员发现现场故障时，通过移动终端向调度台请求建立通话 ；在请求建立通话过程中，维修巡检人员将请求建立通话的信息发送给服务器，然后根据服务器的要求提供用户配置信息，进行身份验证，当身份验证成功后，根据用户配置信息将建立通话请求发送到相应的调度台，建立通话 ；当用户配置信息不符合要求时，身份验证失败，拒绝建立通话请求，并将通话建立失败的信息返回给移动终端。在本发明的一个实施例中，将每个合法的维修巡检人员的用户。
18、配置信息以及维修巡检人员身份与对应调度台的对应关系存储在服务器中，当维修巡检人员输入的用户配置信息与服务器中存储的信息不匹配时，用户配置信息不符合要求，身份验证失败。用户配置信息的身份验证能阻止恶意通话的建立，在一定程度上保证了移动终端与调度台通话的安全性。0033 当通话成功建立后，通过移动终端向调度台发送现场视频，并通过语音描述将相关故障信息传递到调度台，以便调度台的技术支持人员根据维修巡检人员的描述和现场视频的播放，确定故障发生的地点，并及时采取应对措施。0034 S2，调度台接收移动终端的语音描述以及现场视频，在视频界面启动标注，移动终端自动将实时视频锁定，并将锁定的视频图像传送到调度。
19、台。0035 调度台的技术支持人员接收到移动终端的语音描述以及现场视频之后，根据维修巡检人员的语音描述以及移动终端发送过来的现场视频确定故障发生的位置以及应该采取的故障处理措施。在确定故障发生的位置以及应该采取的故障处理措施过程中，调度台的技术支持人员可以通过语音与移动终端的维修巡检人员进行通话，以便进一步了解故障信息。在确定故障信息之后，调度台技术支持人员根据故障发生的地点，在相应的视频界面启动标注。此时，移动终端自动将实时视频锁定，视频图像窗口中呈现静图，并将此静图传送到调度台，供调度台的技术支持人员进行标注操作。0036 S3，调度台和移动终端分别在锁定的视频图像上覆盖透明窗口，调度台在。
20、透明窗口上进行标注操作 ；并将标注指令传递给移动终端，使移动终端进行同步显示。0037 调度台的技术支持人员接收到锁定的视频图像之后，调度台和移动终端分别将锁定的视频图像上覆盖一层透明窗口，为视频图像建立坐标系生成图像坐标信息。在调度台侧，技术支持人员在锁定的视频图像(当前已呈现为静图)上进行标注操作，实现了对锁定说 明 书CN 104506621 A4/5 页7的视频图像的直接操作，直观、简单，能够帮助维修巡检人员迅速找到操作位置，及时对故障进行处理。与此同时，移动终端对标注操作内容进行同步显示，以便使移动终端的维修巡检人员能充分了解操作的处理步骤，降低了操作的复杂度，提高了处理效率。其中，。
21、调度台在透明窗口上进行标注操作，并将标注指令传递给移动终端，移动终端进行同步显示包括如下步骤 ：0038 S31，调度台和移动终端分别将锁定的视频图像上覆盖透明窗口，使透明窗口刚好覆盖整个锁定的视频图像。0039 S32，调度台根据锁定的视频图像选取进行醒目标注的标注工具。0040 当调度台接收到锁定的视频图像时，为了使标注信息与锁定的视频图像本身的内容相比更加突出，使维修巡检人员能够一目了然地看到标注操作内容，调度台在进行标注操作前需要对标注工具进行选择。在本发明的一个实施例中，在标注操作过程中，当调度台的技术支持人员启动标注操作以后，调度台显示屏上会显示“标注工具栏”窗口，工具栏窗口中有各。
22、种画板、文字标注工具，还可以对标注工具的颜色进行选取。调度台技术支持人员可以根据锁定的视频图像选择适当的标注工具，以使标注操作内容明显区别于现有的视频图像，达到醒目的效果。0041 S33，根据故障信息，调度台使用选取的标注工具在透明窗口上进行标注操作，并将标注操作相关的标注指令传送到移动终端。0042 在本发明的一个实施例中，传递给移动终端的标注指令包括 ：图像坐标信息、标注的坐标信息 ( 起始位置，轨迹坐标等 )、标注类型 ( 画图或者文字描述 )、标注内容 ( 文本内容或者标注的图标 )、颜色参数以及标注线条的类型。0043 S34，移动终端接收到标注指令，按照标注指令中标注操作的相关信。
23、息，将标注操作内容按照调度台进行的标注操作顺序回显出来，实现调度台与移动终端的同步显示。0044 在本发明的一个实施例中，移动终端接收到标注指令后，首先选取与调度台相同的颜色参数以及标注线条的类型，然后根据调度台侧的图像坐标信息、标注操作的起始位置、轨迹坐标以及移动终端侧的图像坐标信息，按照相应的缩放比例进行调整，计算出移动终端侧标注操作的起始位置以及轨迹坐标，最后按照移动终端侧标注操作的起始位置以及轨迹坐标将调度台标注操作的标注类型和标注内容显示在移动终端的透明窗口上，实现标注操作的回显。由于调度台的视频窗口大小与移动终端侧的视频窗口大小不同，因此，调度台侧的标注操作内容的显示大小和位置，在。
24、移动终端侧呈现时，需要按照移动终端侧视频窗口与调度台侧视频窗口的大小进行有比例的调整，以保证调度台侧的标注操作内容与移动终端侧所回显出来的标注操作内容是一致的。在本发明的一个实施例中，调度台的标注操作与移动终端的回显是同步完成的，移动终端的维修巡检人员可以感知标注操作的全部过程，除此之外，调度台的技术支持人员还可以通过语音描述每一步操作的意义以及注意事项，使移动终端的维修巡检人员仿佛接受调度台技术支持人员的亲自指导，降低了操作的复杂度，提高了处理效率。0045 S35，调度台依次进行标注操作，直至锁定的视频图像的标注操作全部完成，将停止标注的指令发送到移动终端。0046 S4，标注操作结束时移。
25、动终端得到停止标注的指令，根据标注操作内容以及语音通话对故障信息进行处理，解除对实时视频图像的锁定，视频图像恢复为实时显示。说 明 书CN 104506621 A5/5 页80047 当调度台的标注操作处理完毕后，将停止标注的指令发送到移动终端，移动终端得到停止标注的指令，根据标注操作内容以及与调度台技术支持人员的语音通话对故障信息进行处理，处理完所有的标注操作内容后，解除对实时视频图像的锁定，视频图像恢复为实时显示。0048 S5，重复上述步骤 S1 S4，直至所有故障排除完毕，调度台将修复完成的指令传递给移动终端，移动终端与调度台之间的通话释放。0049 在一次故障发生时，很可能会有多个设。
26、备同时出现问题，移动终端和调度台会重复上述步骤 S1 S4，直至所有故障排除完毕，调度通信系统恢复正常运作。调度台通过媒体通道将停止标注的指令传递给移动终端，移动终端解除对实时视频图像的锁定，视频图像恢复为实时显示，移动终端与调度台之间的通话释放。0050 S6，将故障处理过程中的故障描述信息、锁定的视频图像信息以及远程指导信息进行存储，用于故障存储备查。0051 当故障处理完毕后，将故障处理过程中的故障描述信息、锁定的视频图像信息以及远程指导信息进行存储备查，作为维修巡检作业的记录的一部分。其中，远程指导信息包括远程指导录音信息、标注操作信息以及视频信息。对远程指导过程进行录音、录像、标注操。
27、作的录制等，为移动巡检提供更加丰富的历史记录，便于以后的故障分析及处理。0052 综上所述，本发明所提供的采用视频标注进行远程指导的方法通过对移动终端发送的现场视频进行锁定，并在锁定的视频图像上覆盖透明窗口，实现了对锁定的视频图像的直接操作，使标注操作变得直观、简单。而调度台和移动终端标注操作的同步显示，使移动终端的维修巡检人员能够充分感受故障处理的过程，加之调度台的技术支持人员通过语音描述每一步操作的意义以及注意事项，使移动终端的维修巡检人员仿佛接受调度台技术支持人员的亲自指导，降低了操作的复杂度，提高了处理效率，并有效改善了使用体验。故障处理完毕后，将故障处理过程中的故障描述信息、锁定的视频图像信息以及远程指导信息进行存储备查，作为维修巡检作业的记录的一部分，便于以后的故障分析及处理。0053 以上对本发明所提供的采用视频标注进行远程指导的方法进行了详细的说明。对本领域的技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。说 明 书CN 104506621 A1/2 页9图1说 明 书 附 图CN 104506621 A2/2 页10图2说 明 书 附 图CN 104506621 A。