智能跟拍方法及装置技术领域
本发明涉及跟拍技术，尤其涉及一种智能跟拍方法及装置。
背景技术
体感技术是使人们可以很直接地使用肢体动作，与周边的装置或环境互动，
而无需使用任何复杂的控制设备，便可让人们身临其境地与内容做互动的一种
人机交互技术。Kinect是一种三维(3D，3Dimension)体感摄影机，他导入了
即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。Kinect
彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底的展现出来。Kinect
比一般的摄像头更为智能。首先，他能够发射红外线，从而对整个房间进行立
体定位。摄像头则可以借助红外线来识别人体的运动。除此之外，配合着Xbox
360上的一些高端软件，便可以对人体的48个部位进行实时追踪。Kinect的精
度非常好，对身体的动作捕捉非常准确，对不同的身体部位也辨认得很好。
Kinect所采用的摄像头需要根据人的位置和距离进行准确定位。这样的人机互
动技术使生活更加智能化，更贴近我们的生活，是未来的一个发展趋势。
近年来，随着科学技术的不断发展，我们的生活也正在逐渐自动化、智能
化。在军事、农业、娱乐、医疗、智能家居等领域，正在发生着重大的变革。
像儿童教学监护、自主跟踪结算购物车、陪跑机器人等已经渗透到我们的生活
中，为我们的生活带来了很多的便利。这些应用用到了Kinect融合图像深度和
色彩信息，实现了目标检测和跟踪。此外，利用机械臂的控制，实现了一些功
能性动作；用到了传感技术来感知周围的环境，当有异常时做出相应的处理。
由此可以看出，这些先进的技术已经应用到我们的生活中，这些应用专用性很
强，实用也具针对性。但一般都是针对某一部分人或者某一场景来实现一个功
能，这样不但使得先进的技术资源不能得到充分利用，而且随着技术的不断成
熟和发展，这种单一的功能或者场景已经不能满足人们的需求，更强大更智能
的产品才是信息社会的主力军。现有的技术缺乏可控性，灵活性差；不够智能，
应用场景单一；可扩展性差；可移动性差；成本高，造成了资源浪费。
发明内容
为解决上述技术问题，本发明实施例提供了一种智能跟拍方法及装置。
本发明实施例提供的智能跟拍方法包括：
利用采集模块采集目标对象的深度数据流，以及声源的音频信息；
基于所述深度数据流，计算得到所述目标对象的骨骼数据流，所述骨骼数
据流包括所述目标对象的两个以上部位的位置信息；
根据所述音频信息，计算得到所述声源的位置信息；
对所述骨骼数据流以及所述声源的位置信息进行处理，并根据处理结果得
到对应的第一执行指令；
执行与所述第一执行指令相应的第一任务操作。
本发明实施例中，所述采集模块具有红外线检测仪；
所述利用采集模块采集目标对象的深度数据流，包括：
利用所述红外线检测仪获取所述目标对象反射的红外线；
依据连续获取的红外线数据，得到所述目标对象的深度数据流；
其中，所述深度数据流由连续的深度帧组成，每个深度帧均包括深度像素，
所述深度像素包括所述目标对象的三维坐标信息。
本发明实施例中，所述采集模块具有麦克风阵列；
所述利用采集模块采集声源的音频信息，包括：
利用所述麦克风阵列采集声源的音频信息。
本发明实施例中，所述第一执行指令指示对所述采集模块的姿态位置进行
调整；
所述执行与所述第一指令相应的第一任务操作，包括：
按照调整参数对所述采集模块的姿态位置进行相应调整，其中，所述调整
参数依据所述执行指令进行确定。
本发明实施例中，所述方法还包括：
利用传感器采集环境信息；
对所述环境信息进行处理，并根据处理结果得到对应的第二执行指令；
执行与所述第二执行指令相应的第二任务操作。
本发明实施例中，所述传感器以及所述采集模块设置在移动平台上，所述
移动平台上还设置有机械臂；所述第二执行指令指示对所述移动平台的位置进
行移动，和/或对所述机械臂执行设置的动作；
所述执行与所述第二执行指令相应的第二任务操作，包括：
按照位置参数对所述移动平台进行相应的移动，和/或按照动作参数控制所
述机械臂执行设置的动作。
本发明实施例中，所述方法还包括：
根据所述环境信息，进行路径规划并生成导航信息，所述导航信息包括所
述位移动平台的位置参数。
本发明实施例提供的智能跟拍装置包括：
采集模块，用于采集目标对象的深度数据流，以及声源的音频信息；
处理模块，用于基于所述深度数据流，计算得到所述目标对象的骨骼数据
流，所述骨骼数据流包括所述目标对象的两个以上部位的位置信息；根据所述
音频信息，计算得到所述声源的位置信息；对所述骨骼数据流以及所述声源的
位置信息进行处理，并根据处理结果得到对应的第一执行指令；
执行模块，用于执行与所述第一执行指令相应的第一任务操作。
本发明实施例中，所述采集模块具有红外线检测仪；
所述红外线检测仪，用于获取所述目标对象反射的红外线；依据连续获取
的红外线数据，得到所述目标对象的深度数据流；其中，所述深度数据流由连
续的深度帧组成，每个深度帧均包括深度像素，所述深度像素包括所述目标对
象的三维坐标信息。
本发明实施例中，所述采集模块具有麦克风阵列；
所述麦克风阵列，用于采集声源的音频信息。
本发明实施例中，所述第一执行指令指示对所述采集模块的姿态位置进行
调整；
所述执行模块，还用于按照调整参数对所述采集模块的姿态位置进行相应
调整，其中，所述调整参数依据所述执行指令进行确定。
本发明实施例中，所述装置还包括：
传感器，用于采集环境信息；
所述处理模块，还用于对所述环境信息进行处理，并根据处理结果得到对
应的第二执行指令；
所述执行模块，还用于执行与所述第二执行指令相应的第二任务操作。
本发明实施例中，所述传感器以及所述采集模块设置在移动平台上，所述
移动平台上还设置有机械臂；所述第二执行指令指示对所述移动平台的位置进
行移动，和/或对所述机械臂执行设置的动作；
所述执行模块，还用于按照位置参数对所述移动平台进行相应的移动，和/
或按照动作参数控制所述机械臂执行设置的动作。
本发明实施例中，所述装置还包括：
导航模块，用于根据所述环境信息，进行路径规划并生成导航信息，所述
导航信息包括所述位移动平台的位置参数。
本发明实施例的技术方案中，利用采集模块采集目标对象的深度数据流，
以及声源的音频信息；基于所述深度数据流，计算得到所述目标对象的骨骼数
据流，所述骨骼数据流包括所述目标对象的两个以上部位的位置信息；根据所
述音频信息，计算得到所述声源的位置信息；对所述骨骼数据流以及所述声源
的位置信息进行处理，并根据处理结果得到对应的第一执行指令；执行与所述
第一执行指令相应的第一任务操作。可见，本发明实施例是在现有的监测技术
上面的进一步发展，实现一种跟随人员进行可移动的实时跟踪监测的一种智能
跟踪技术。通过先进的体感技术，进行人机互动，实现对人体位置的实时跟踪
拍摄。通过先进的移动平台，实现躲避路障，智能导航，移动跟随，实现全方
位的监控。通过对于机械臂的控制技术，实现一些动作指令，完成无人操作。
通过传感技术与移动平台相结合，能够获取更多的环境信息，使该装置能够更
好地综合获取的信息进行判断，与此同时，也实现了对环境因素的实时监测。
本发明实施例的智能跟拍装置能够充分应用这些先进的技术，实现了多场景、
多功能、多动作的选择方案，从而达到实现更多应用的效果，也使整个装置具
有更强的扩展性，减少了资源的浪费。
附图说明
图1为本发明实施例的智能跟拍方法的流程示意图；
图2为本发明实施例的智能跟拍装置的结构组成示意图；
图3为采集模块的结构功能图；
图4为本发明实施例的处理模块的结构功能图；
图5为本发明实施例的执行模块的结构功能图；
图6为本发明实施例的智能跟拍装置的功能选择执行示意图；
图7为本发明实施例的机械臂的机械结构示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图
对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来
限定本发明实施例。
本发明实施例中，智能跟拍装置承载在移动平台上，移动平台是一种能够
移动的设备，因而智能跟拍装置可以按照规划的路径自主导航，随着移动平台
进行移动。智能跟拍装置也可以通过人机交互跟随人进行工作。
在自主导航的情况下，本发明实施例设定多种场景，每种场景下定义好一
般需要执行的基本功能。在人员需要的情况下，可以去选择所需要的场景模式，
并根据基本功能选项规定智能跟拍装置所要执行的一系列动作、周期等。这种
情况适合在无人操作的情况下，去完成人员设定好的模式功能。
另一种情况是人机交互模式下智能跟拍装置随人进行工作。智能跟拍装置
具有体感检测功能，能够识别目标人物，并可跟随目标到处走动，并根据目标
人物下达的一些声音或动作指令去完成某些功能动作。智能跟拍装置还可以完
成跟踪拍摄和全方位拍摄功能，并可通过无线网络将监测到的信息传到监测中
心。这样，智能跟拍装置在工作过程中，可以达到监测的目的。此外，智能跟
拍装置也可以对指定人员进行跟踪拍摄。
本发明实施例的智能跟拍装置充分考虑到人们的需求，人们可以根据自己
的要求去设置一系列的动作指令，使该装置完成指定任务。
图1为本发明实施例的智能跟拍方法的流程示意图，本示例中的智能跟拍
方法应用于智能跟拍装置中，如图1所示，所述智能跟拍方法包括以下步骤：
步骤101：利用采集模块采集目标对象的深度数据流，以及声源的音频信
息。
为了更便于理解本发明实施例的智能跟拍方法，将结合图2中的智能跟拍
装置的结构组成示意图对其进行阐述，如图2所示，智能跟拍装置包括采集模
块21、处理模块22、以及执行模块23。采集模块21至少具有两部分，分别为：
红外检测仪和麦克风阵列。
智能跟拍装置承载在移动平台上，移动平台能够是能够进行移动的设备。
智能跟拍装置通过采集模块21采集目标对象的深度数据流；这里，目标对象即
为跟踪人员。采集模块21采集声源的音频信息，这里，声源针对于跟踪人员。
具体地，由红外检测仪采集目标对象的深度数据流；由麦克风阵列采集声
源的音频信息。
然后，处理模块22基于所述深度数据流，计算得到所述目标对象的骨骼数
据流。所述骨骼数据流包括所述目标对象的两个以上部位的位置信息。
处理模块22根据所述音频信息，计算得到所述声源的位置信息。具体地，
所述麦克风阵列中的其中一个麦克风为定向麦克风，用于标定声源的位置。获
得声源位置与定向麦克风声线的夹角用以记录声音，该夹角和置信水平用于记
录声音的来源。
采集模块21与处理模块22(可承载在电脑上)通过串口进行通讯。采集
模块21将所跟踪人员(目标对象)的位置信息(骨骼数据流)以及音频信息通
过串口传到处理模块22。从采集模块21传来的数据经过处理模块22综合分析
和处理，来确定处理模块22所要传达的指令给采集模块21和执行模块23，传
给采集模块21的指令用来控制采集模块21的旋转和360度拍摄，传给执行模
块23的指令用来控制执行某特定的任务操作。
步骤102：基于所述深度数据流，计算得到所述目标对象的骨骼数据流，
所述骨骼数据流包括所述目标对象的两个以上部位的位置信息。
本发明实施例中，利用所述红外线检测仪获取所述目标对象反射的红外线；
依据连续获取的红外线数据，得到所述目标对象的深度数据流；
其中，所述深度数据流由连续的深度帧组成，每个深度帧均包括深度像素，
所述深度像素包括所述目标对象的三维坐标信息。
具体地，参照图3，图3为采集模块的结构功能图。采集模块主要是由Kinect
摄像机组成。Kinect摄像机通过红外线仪捕获物体反射的红外线，获得被探测
物体与传感器之间的距离，即深度。一系列的捕获到的深度帧组合成深度数据
流，每一个深度帧都包含深度像素，每个深度像素都包含被探测到物体的3D
坐标信息。骨骼数据流基于捕获到的深度数据流进行计算，骨骼数据是由20
个人体的关节位置组成。根据需要选择提供所跟踪人员位置的骨骼数据。这些
骨骼数据通过帧被组织为数据流。每个骨骼帧是基于深度帧进行计算。所得到
的数据帧将传到处理模块进行进一步的处理。
步骤103：根据所述音频信息，计算得到所述声源的位置信息。
本发明实施例中，所述采集模块具有麦克风阵列；
所述利用采集模块采集声源的音频信息，包括：
利用所述麦克风阵列采集声源的音频信息。
参照图3，Kinect摄像机所拥有的4麦克风阵列是基于硬件的音频处理，
可以进行声源位置的追踪，多通道回声消除技术还可以进行数字信号处理。将
其中一个麦克风设置为定向麦克风，声源位置与该麦克风声线的夹角用于记录
声音，该角度和置信水平用于记录声音的来源。可以通过麦克风阵列采集音频
信息以及对音频信号源进行定位。
此外，采集模块还具有红绿蓝(RGB，Red Green Blue)摄像模块，RGB
摄像模块是颜色传感器，用于捕捉目标对象的颜色信息。
步骤104：对所述骨骼数据流以及所述声源的位置信息进行处理，并根据
处理结果得到对应的第一执行指令。
步骤105：执行与所述第一执行指令相应的第一任务操作。
本发明实施例中，所述第一执行指令指示对所述采集模块的姿态位置进行
调整；
所述执行与所述第一指令相应的第一任务操作，包括：
按照调整参数对所述采集模块的姿态位置进行相应调整，其中，所述调整
参数依据所述执行指令进行确定。
本发明实施例中，利用传感器采集环境信息；
对所述环境信息进行处理，并根据处理结果得到对应的第二执行指令；
执行与所述第二执行指令相应的第二任务操作。
本发明实施例中，所述传感器以及所述采集模块设置在移动平台上，所述
移动平台上还设置有机械臂；所述第二执行指令指示对所述移动平台的位置进
行移动，和/或对所述机械臂执行设置的动作；
所述执行与所述第二执行指令相应的第二任务操作，包括：
按照位置参数对所述移动平台进行相应的移动，和/或按照动作参数控制所
述机械臂执行设置的动作。
所述方法还包括：
根据所述环境信息，进行路径规划并生成导航信息，所述导航信息包括所
述位移动平台的位置参数。
具体地，参照图4，图4为本发明实施例的处理模块的结构功能图，处理
模块主要由PC机和单片机组成。单片机通过移动平台与传感器相连，控制传
感器采集温度、湿度等环境信息，并将所得到的数据通过串口通信传到PC机。
PC机接收采集模块采集到的音频信息、位置信息和人体手势信息等。并综合分
析从传感器和采集模块得到的信息，来控制采集模块的旋转和拍摄以及移动平
台的移动和机械臂动作任务。
参照图5，图5为本发明实施例的执行模块的结构功能图，执行模块主要
是由Pioneer-LX移动平台和机械臂以及装配的传感器组成。移动平台支持可编
程操作，可以方便快捷地装配传感器，抓持器和其它附件设备，并能进行负重。
传感器部分可以收集环境中的温度、湿度等信息，从而感知工作环境，并
将收集到的信息通过移动平台传给单片机进行处理，将处理后的信息再通过串
口通信传给PC机。移动平台一方面从PC机获取处理过的信息数据，并根据这
些数据进行路径规划，生成导航地图，控制该装置进行移动。另一方面，根据
从PC机获得的一些指令来控制机械臂完成相关任务动作。所述执行模块可以
通过传感器获得自身位置信息，对于路障进行自动避让，这样在执行任务的过
程中，带来了许多便利。
下面结合图6所示的智能跟拍装置的功能选择执行示意图对本发明实施例
的智能跟拍方法再作进一步描述。
将智能跟拍装置应用到解决室内多地点多任务用户感知自动化测试问题，
这样就可以选择针对于高度智能自动化的移动通信网络用户感知检测的一种工
作流程。在场景1中需要解决测试用例智能生成功能1，测试任务自动下发的
功能2。同时，在可移动性方面，需要解决室内多地点跨楼层智能移动，这要
求测试装置中含有地图生成动作功能3、路径规划功能4、导航和控制功能5、
智能进出电梯功能6，可感知室内空间布局信息，生成地图，并根据障碍物和
测试点坐标信息进行自主导航，并与云测试平台进行合理有效的交互以实现测
试的智能化。同时该场景中能够智能完成跨楼层的运动。包括：根据地图识别
电梯位置动作1，停在电梯门口动作2，利用机械臂点击上行或下行按钮动作3、
待识别电梯门打开后，自主移动入电梯动作4，停在电梯内指定的位置动作5，
原地180度旋转动作6，识别并点击目标楼层按钮动作7，点击关闭电梯门按钮
动作8，待电梯到达目标楼层并开门后，自主行动出电梯动作9。这样就完成了
智能移动导航并进出电梯到达相应楼层的指定位置。其它功能应用模式与此相
同。
智能跟拍装置对室内环境信息进行探测采集，并生成二维平面地图；用户
在上述地图上指定若干特定的点后，智能跟拍装置根据智能规划的行走路径，
自动避障到达指定位置1后，暂时停止移动，同时连接云测试平台。通知其控
制测试手机自动执行测试任务。一直到云测试平台返回测试手机正常结束测试
消息或者测试异常消息或者超时消息后，该装置重新开始运行，并自主导航到
下一指定位置2，再次开始测试，直至所有测试地点已经遍历完毕。在整个测
试过程中，该装置根据云平台的测试用例，设置定时时长，在定时时间内，机
器人以一定的时间间隔从云测试平台获取测试手机测试进度，并根据测试进度
适当调整定时时长，待测试手机测试完成后，将测试数据返回给云测试平台。
该装置与云测试平台采用超文本传输协议(HTTP，HyperText Transfer Protocol)
方式进行通信，不与测试手机直接进行交互。
智能跟拍装置进行实时全方位拍摄，拍摄信息可以传到测试终端供测试人
员查看现场信息。如遇突发状况，如可移动路障，可控制机械臂进行移动操作。
当进行一些临时监测时，工作人员也可与该装置互动，直接控制该装置尾随工
作人员进行任务操作。
本发明实施例的智能跟拍方法、装置，可针对移动的工作人员进行跟踪、
全方位拍摄以及通过人机交互进行实时作业；可通过采集模块和所要实现的功
能，生成地图，并自动导航，在导航过程中可跨楼层、躲避障碍物、全方位拍
摄、负载以及机械控制。并可通过无线与测试中心互联进行数据传输。通过PC
设定或者通过人机交互在多场景多任务多动作中进行自由选择。能够实现自由
控制，自由移动；功能更加齐全，降低了开发成本，减少了资源浪费；具有很
强扩展性，更好地利用了现有资源。可应用在自动化的移动通信网络用户感知
检测系统场景。将商用智能终端与云测试平台和智能跟拍装置结合实现了一套
移动通信网络用户感知自动化检测系统。
图2为本发明实施例的智能跟拍装置的结构组成示意图，如图2所示，所
述智能跟拍装置包括：
采集模块21，用于采集目标对象的深度数据流，以及声源的音频信息；
处理模块22，用于基于所述深度数据流，计算得到所述目标对象的骨骼数
据流，所述骨骼数据流包括所述目标对象的两个以上部位的位置信息；根据所
述音频信息，计算得到所述声源的位置信息；对所述骨骼数据流以及所述声源
的位置信息进行处理，并根据处理结果得到对应的第一执行指令；
执行模块23，用于执行与所述第一执行指令相应的第一任务操作。
所述采集模块21具有红外线检测仪；
所述红外线检测仪，用于获取所述目标对象反射的红外线；依据连续获取
的红外线数据，得到所述目标对象的深度数据流；其中，所述深度数据流由连
续的深度帧组成，每个深度帧均包括深度像素，所述深度像素包括所述目标对
象的三维坐标信息。
所述采集模块21具有麦克风阵列；
所述麦克风阵列，用于采集声源的音频信息。
所述第一执行指令指示对所述采集模块21的姿态位置进行调整；
所述执行模块23，还用于按照调整参数对所述采集模块21的姿态位置进
行相应调整，其中，所述调整参数依据所述执行指令进行确定。
所述装置还包括：
传感器24，用于采集环境信息；
所述处理模块22，还用于对所述环境信息进行处理，并根据处理结果得到
对应的第二执行指令；
所述执行模块23，还用于执行与所述第二执行指令相应的第二任务操作。
所述传感器24以及所述采集模块21设置在移动平台上，所述移动平台上
还设置有机械臂；所述第二执行指令指示对所述移动平台的位置进行移动，和/
或对所述机械臂执行设置的动作；
所述执行模块23，还用于按照位置参数对所述移动平台进行相应的移动，
和/或按照动作参数控制所述机械臂执行设置的动作。
所述装置还包括：
导航模块25，用于根据所述环境信息，进行路径规划并生成导航信息，所
述导航信息包括所述位移动平台的位置参数。
本领域技术人员应当理解，上述各单元的实现功能可参照前述各实施例的
智能跟拍方法的相关描述而理解。上述各单元的功能可通过运行于处理模块上
的程序而实现，也可通过具体的逻辑电路而实现。
图7为本发明实施例的机械臂的机械结构示意图。机械臂有一底座，用于
固定在移动平台上，机械臂和移动平台共用一块电池分别给自身供电。机械臂
装置有一可伸缩的支撑杆，保证机械臂可以在垂直方向伸缩，伸缩范围在
10～140cm，保证机械臂在垂直方向上可以停留在该范围的任意一点。另外，机
械臂配有一个可180度水平旋转绞架，使得机械臂可以在水平方向上任一点移
动并保持。单片机控制指令转为电机驱动指令模块，高分辨率摄像头。其中高
分辨率摄像头用来拍摄电梯控制面板和各按钮的高清图像，供机械臂的单片机
进行图像处理和目标识别；单片机用来进行图像处理和目标识别，以及跟移动
研究平台的通信等；可伸缩的刚性指头在驱动电机的控制下以不同速率前后移
动，从而完成电梯按钮的点击等；驱动电机用来控制刚性的指头移动。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，
可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，
所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方
式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可
以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直
接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，
可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为
单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可
以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来
实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单
元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集
成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬
件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于
此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到
变化或替换，都应涵盖在本发明的保护范围之内。