基于单目相机的起重机工作空间多信息测量方法及系统.pdf

《基于单目相机的起重机工作空间多信息测量方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于单目相机的起重机工作空间多信息测量方法及系统.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910983224.1 (22)申请日 2019.10.16 (71)申请人 武汉理工大学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 汪小凯吴庆祥华林郑学兵 (74)专利代理机构 湖北武汉永嘉专利代理有限 公司 42102 代理人 王丹 (51)Int.Cl. B66C 13/16(2006.01) B66C 15/04(2006.01) (54)发明名称 基于单目相机的起重机工作空间多信息测 量方法及系统 (57)摘要 本发明提供一种基于单目。

2、相机的起重机工 作空间多信息测量方法及系统， 起重机的吊钩上 设有第一靶标， 每个障碍物顶部均设有第二靶 标； 负载一端顶部设有第三靶标， 将吊钩降低到 最底端， 控制起升机构根据分层公式使得吊钩分 层上升， 吊钩在每层位置上， 单目相机均采集第 一靶标的图像； 根据分层标定结果， 得到负载起 升高度的拟合方程和起吊中心的像素坐标拟合 方程； 当有负载实际起吊时， 根据负载起升高度 的拟合方程和起吊中心的像素坐标拟合方程， 以 及空间几何分析， 计算工作空间的信息。 本发明 仅采用单目相机， 匹配特定的单目相机分层标定 方法， 结合起重机工作空间的空间几何分析， 从 而实现起重机工作空间多信息。

3、的测量。 权利要求书2页 说明书6页 附图2页 CN 110745702 A 2020.02.04 CN 110745702 A 1.一种基于单目相机的起重机工作空间多信息测量方法， 其特征在于： 起重机的吊钩 上设有用于单目相机识别负载的第一靶标， 每个障碍物顶部均设有用于被单目相机识别的 第二靶标； 第一靶标和第二靶标上均设有两个特征点， 两个特征点之间的距离为S； 负载一 端顶部设有用于测量负载旋转角度的第三靶标， 第三靶标包含位于靶标中心的一个特征 点； 通过对单目相机采集起重机工作空间的图像进行图像处理， 得到工作空间的信息， 并控 制起重机的大车和小车； 本方法包括以下步骤： S1。

4、、 单目相机的分层标定： 输入负载距离单目相机的最大距离Dn和负载的最大偏心角度 max； 将吊钩降低到最底 端， 控制起升机构根据分层公式使得吊钩分层上升， 吊钩在每层位置上， 单目相机均采集第 一靶标的图像； 所述的分层公式为hi为第i层与第i-1 层之间的高度， n为总层数， Hi为第i层吊钩的起升高度， Di为第i层的吊钩与单目相机之间 的距离， Di-1为第i-1层的吊钩与单目相机之间的距离； 根据单目相机采集的第一靶标的图像， 得到第一靶标的特征点之间的像素距离和每层 第一靶标中心的像素坐标； 根据每层的第一靶标高度和第一靶标的特征点之间的像素距 离， 得到求解负载起升高度的拟合方。

5、程； 当吊钩竖直起升时， 第一靶标中心即为起吊中心， 分析每层第一靶标中心的像素坐标， 得到起吊中心的像素坐标拟合方程； S2、 工作空间的信息测量： 当有负载实际起吊时， 起重机的吊钩位置即为负载位置； 利用单目相机实时采集第一靶标和第二靶标的图像， 根据S1得到的负载起升高度的拟 合方程和起吊中心的像素坐标拟合方程， 以及空间几何分析， 计算工作空间的信息； 所述的工作空间的信息包括负载偏心角度、 负载偏心位移、 负载旋转角度、 负载与障碍 物距离和障碍物高度。 2.根据权利要求1所述的测量方法， 其特征在于： 所述的S2具体为： 2.1、 负载偏心角度和偏心位移的测量： 实时采集第一靶标。

6、的图像， 得到第一靶标中心的像素坐标(ub,vb)和第一靶标的特征点 之间的像素距离S， 根据所述的负载起升高度的拟合方程， 得到负载的起升高度H； 然后根 据所述的起吊中心的像素坐标拟合方程， 计算得到起吊中心像素坐标(uq,vq)； 从而在大车 和小车方向上负载偏移起吊中心的像素距离为u、 v分别为负载在小车和大 车运动方向上偏离起吊中心的像素距离； 根据公式计算负载在小车方向和大车方向的偏移距离为X、 Y； 进而有负载的偏心角度为 权利要求书 1/2 页 2 CN 110745702 A 2 2.2、 负载旋转角度的测量： 负载旋转角度其中uf、 vf为第三靶标特征点的行列像素坐标； 2。

7、.3、 负载与障碍物距离和障碍物高度的测量： 当有障碍物进入单目相机视野范围内， 单目相机将采集置于该障碍物顶部的第二靶标 的图像， 并根据第二靶标的特征点像素坐标计算得到第二靶标的中心像素坐标(uz,vz)， 进 而根据第一靶标中心的像素坐标(ub,vb)得到负载与障碍物在小车和大车运动方向上的距 离Dx和Dd分别为 根据第二靶标的特征点之间的像素距离， 根据负载起升高度的拟合方程计算得到障碍 物的高度Hz。 3.根据权利要求2所述的测量方法， 其特征在于： 所述的负载起升高度的拟合方程为： HP1S 式中， SS2 S 1T为第一靶标的特征点之间的像素距离， P1P12 P11 P10为 。

8、拟合方程的系数。 4.根据权利要求3所述的测量方法， 其特征在于： 所述的起吊中心的像素坐标拟合方程 为： 式中， uq、 vq为起吊中心的行像素坐标和列像素坐标， HH2 H 1T为负载起升高度， P2 和P3分别为行像素坐标和列像素坐标拟合方程的系数， 其中P3P32 P31 P30。 5.一种用于完成权利要求1至4中任意一项所述的测量方法的系统， 其特征在于： 本系 统包括靶标、 单目相机、 数据处理器和起重机控制器； 其中， 所述的靶标包括起重机的吊钩上设置的用于单目相机识别负载的第一靶标， 每个障碍 物顶部设置的用于被单目相机识别的第二靶标； 第一靶标和第二靶标上均设有两个特征 点，。

9、 两个特征点之间的距离为S， 以及设置在负载一端顶部用于测量负载旋转角度的第三靶 标， 第三靶标包含位于靶标中心的一个特征点； 单目相机用于采集起重机工作空间的图像， 数据处理器通过对单目相机采集的图像处 理后， 得到工作空间的信息， 并通过起重机控制器控制起重机的大车和小车。 6.根据权利要求5所述的系统， 其特征在于： 所述的单目相机设置在小车的底部。 7.根据权利要求5所述的系统， 其特征在于： 本系统还包括光源， 用于给工作空间照明。 8.根据权利要求5所述的系统， 其特征在于： 本系统还包括人机交互界面， 用于输入参 数和显示工作空间的信息。 权利要求书 2/2 页 3 CN 110。

10、745702 A 3 基于单目相机的起重机工作空间多信息测量方法及系统 技术领域 0001 本发明属于起重机领域和视觉测量领域， 具体涉及一种基于单目相机的起重机工 作空间多信息测量方法及系统。 背景技术 0002 起重机作为重要的货物搬运工具， 广泛应用于生产车间、 货物仓库、 冶金制造、 垃 圾处理等工业场所。 然而， 目前起重机通过操作工人进行手动操作， 操作过程中工人难免会 出现操作失误， 且长时间工作会造成操作疲劳， 这些均可能导致起重机安全事故。 因此实现 起重机的智能控制和安全监控显得尤为重要， 而信息的测量是前提。 0003 目前起重机上的测量方法主要包括预测估计、 接触式测量。

11、和非接触测量三种。 其 中预测估计方法根据建立的精确起重机模型， 实现负载摆动角度的预测估计。 其测量精度 与起重机模型的准确度有关， 而考虑起重机工业应用情况时补偿误差通常难以确定。 接触 式测量方式利用高精度传感器， 实现特定物理量的精确测量。 例如通过加速度计和陀螺仪、 编码器、 力传感器等可以实现负载偏心角度的测量。 通过安装在卷筒一端的编码器可以实 现负载起升高度的测量。 接触式测量方式可以实现高精度的测量， 但是当需要测量多个物 理量时， 通常需要安装多个传感器， 增加了系统的成本。 非接触式测量主要包括超声波传感 器和光学传感器两种。 其中超声波传感器可以实现距离的测量， 但通常。

12、测量距离较小。 光学 传感器中的激光传感器利用激光传感器同样可以实现距离的测量， 同样会存在测量物理量 单一的问题。 视觉测量作为一种重要的非接触测量方式， 广泛应用于工业控制的各个领域。 视觉测量在起重机的应用主要分为单目、 双目和多目三种测量方式。 其中双目和多目测量 方式通过两幅或多幅图像的匹配， 可以测量目标物体的深度信息， 但复杂的图像处理算法 限制了其应用。 因此单目相机测量技术在起重机上的应用开始受到广泛关注， 但目前单目 视觉测量系统通常根据特定的起重机功能设计， 测量物理量单一。 发明内容 0004 本发明要解决的技术问题是： 提供一种基于单目相机的起重机工作空间多信息测 量。

13、方法， 只需要一个单目相机， 即可实现起重机工作空间中多信息的测量。 0005 本发明为解决上述技术问题所采取的技术方案为： 一种基于单目相机的起重机工 作空间多信息测量方法， 其特征在于： 起重机的吊钩上设有用于单目相机识别负载的第一 靶标， 每个障碍物顶部均设有用于被单目相机识别的第二靶标； 第一靶标和第二靶标上均 设有两个特征点， 两个特征点之间的距离为S； 负载一端顶部设有用于测量负载旋转角度的 第三靶标， 第三靶标包含位于靶标中心的一个特征点； 通过对单目相机采集起重机工作空 间的图像进行图像处理， 得到工作空间的信息， 并控制起重机的大车和小车； 0006 本方法包括以下步骤： 0。

14、007 S1、 单目相机的分层标定： 0008 输入负载距离单目相机的最大距离Dn和负载的最大偏心角度 max； 将吊钩降低到 说明书 1/6 页 4 CN 110745702 A 4 最底端， 控制起升机构根据分层公式使得吊钩分层上升， 吊钩在每层位置上， 单目相机均采 集第一靶标的图像； 所述的分层公式为hi为第i层与第 i-1层之间的高度， n为总层数， Hi为第i层吊钩的起升高度， Di为第i层的吊钩与单目相机之 间的距离， Di-1为第i-1层的吊钩与单目相机之间的距离； 0009 根据单目相机采集的第一靶标的图像， 得到第一靶标的特征点之间的像素距离和 每层第一靶标中心的像素坐标；。

15、 根据每层的第一靶标高度和第一靶标的特征点之间的像素 距离， 得到求解负载起升高度的拟合方程； 0010 当吊钩竖直起升时， 第一靶标中心即为起吊中心， 分析每层第一靶标中心的像素 坐标， 得到起吊中心的像素坐标拟合方程； 0011 S2、 工作空间的信息测量： 0012 当有负载实际起吊时， 起重机的吊钩位置即为负载位置； 0013 利用单目相机实时采集第一靶标和第二靶标的图像， 根据S1得到的负载起升高度 的拟合方程和起吊中心的像素坐标拟合方程， 以及空间几何分析， 计算工作空间的信息； 0014 所述的工作空间的信息包括负载偏心角度、 负载偏心位移、 负载旋转角度、 负载与 障碍物距离和。

16、障碍物高度。 0015 按上述方法， 所述的S2具体为： 0016 2.1、 负载偏心角度和偏心位移的测量： 0017 实时采集第一靶标的图像， 得到第一靶标中心的像素坐标(ub,vb)和第一靶标的特 征点之间的像素距离S， 根据所述的负载起升高度的拟合方程， 得到负载的起升高度H； 然 后根据所述的起吊中心的像素坐标拟合方程， 计算得到起吊中心像素坐标(uq,vq)； 从而在 大车和小车方向上负载偏移起吊中心的像素距离为u、 v分别为负载在小车 和大车运动方向上偏离起吊中心的像素距离； 0018根据公式计算负载在小车方向和大车方向的偏移距离为X、 Y； 0019进而有负载的偏心角度为 002。

17、0 2.2、 负载旋转角度的测量： 0021负载旋转角度其中uf、 vf为第三靶标特征点的行列像素坐标； 0022 2.3、 负载与障碍物距离和障碍物高度的测量： 0023 当有障碍物进入单目相机视野范围内， 单目相机将采集置于该障碍物顶部的第二 靶标的图像， 并根据第二靶标的特征点像素坐标计算得到第二靶标的中心像素坐标(uz, vz)， 进而根据第一靶标中心的像素坐标(ub,vb)得到负载与障碍物在小车和大车运动方向 说明书 2/6 页 5 CN 110745702 A 5 上的距离Dx和Dd分别为 0024 根据第二靶标的特征点之间的像素距离， 根据负载起升高度的拟合方程计算得到 障碍物的。

18、高度Hz。 0025 按上述方法， 所述的负载起升高度的拟合方程为： 0026 HP1S 0027 式中， SS2 S 1T为第一靶标的特征点之间的像素距离， P1P12 P11 P10为拟合方程的系数。 0028 按上述方法， 所述的起吊中心的像素坐标拟合方程为： 0029 0030 式中， uq、 vq为起吊中心的行像素坐标和列像素坐标， HH2 H 1T为负载起升高 度， P2和P3分别为行像素坐标和列像素坐标拟合方程的系数， 其中P3P32 P31 P30。 0031 一种用于完成所述的测量方法的系统， 其特征在于： 本系统包括靶标、 单目相机、 数据处理器和起重机控制器； 其中， 0。

19、032 所述的靶标包括起重机的吊钩上设置的用于单目相机识别负载的第一靶标， 每个 障碍物顶部设置的用于被单目相机识别的第二靶标； 第一靶标和第二靶标上均设有两个特 征点， 两个特征点之间的距离为S， 以及设置在负载一端顶部用于测量负载旋转角度的第三 靶标， 第三靶标包含位于靶标中心的一个特征点； 0033 单目相机用于采集起重机工作空间的图像， 数据处理器通过对单目相机采集的图 像处理后， 得到工作空间的信息， 并通过起重机控制器控制起重机的大车和小车。 0034 按上述系统， 所述的单目相机设置在小车的底部。 0035 按上述系统， 本系统还包括光源， 用于给工作空间照明。 0036 按上述。

20、系统， 本系统还包括人机交互界面， 用于输入参数和显示工作空间的信息。 0037 本发明的有益效果为： 仅采用单目相机， 匹配特定的单目相机分层标定方法， 并结 合起重机工作空间的空间几何分析， 从而实现起重机工作空间多信息的测量； 结构简单， 减 小了传感器的数量和硬件成本， 算法简单， 易于实施。 附图说明 0038 图1为本发明一实施例的系统框图。 0039 图2为起重机工作空间信息示意图。 0040 图3为单目相机的安装示意图。 0041 图4为起升高度的分层示意图。 0042 图中： 1-小车， 2-大车， 3-负载， 4-单目相机， 5-障碍物。 说明书 3/6 页 6 CN 11。

21、0745702 A 6 具体实施方式 0043 下面结合具体实例和附图对本发明做进一步说明。 0044 本发明提供一种基于单目相机的起重机工作空间多信息测量系统， 如图1至4所 示， 包括靶标、 单目相机4、 数据处理器和起重机控制器； 其中， 所述的靶标包括起重机的吊 钩上设置的用于单目相机识别负载3的第一靶标， 每个障碍物5顶部设置的用于被单目相机 识别的第二靶标； 第一靶标和第二靶标上均设有两个特征点， 两个特征点之间的距离为S； 设置在负载一端顶部用于测量负载旋转角度的第三靶标， 第三靶标包含位于靶标中心的一 个特征点。 单目相机用于采集起重机工作空间的图像， 数据处理器通过对单目相机。

22、采集的 图像处理后， 得到工作空间的信息， 并通过起重机控制器控制起重机的大车2和小车1。 本实 施例中， 单目相机4设置在小车1的底部。 本系统还包括光源， 用于给工作空间照明， 可以增 强靶标图像质量。 本系统还包括人机交互界面， 用于输入参数和显示工作空间的信息， 实现 起重机空间信息的实时监控和辅助完成单目相机的分层标定。 靶标由靶标板和特征点组 成， 其中特征点具有反光特性， 两个特征点对角分布且距离固定。 0045 利用上述系统， 本发明还提供一种基于单目相机的起重机工作空间多信息测量方 法， 包括以下步骤： 0046 S1、 单目相机的分层标定： 0047 在数据处理器中输入负载。

23、距离单目相机的最大距离Dn和负载的最大偏心角度 max； 将吊钩降低到最底端， 控制起升机构根据分层公式使得吊钩分层上升， 吊钩在每层位 置上， 单目相机均采集第一靶标的图像； 考虑到相机景深的变化规律， 设计分层标定策略实 现基于单目相机采集图像的深度测量， 所述的分层公式为 hi为第i层与第i-1层之间的高度， n为总层数， Hi为第i层吊钩的起升高度， Di为第i层的 吊钩与单目相机之间的距离， Di-1为第i-1层的吊钩与单目相机之间的距离。 0048 根据单目相机采集的第一靶标的图像， 得到第一靶标的特征点之间的像素距离和 每层第一靶标中心的像素坐标； 根据每层的第一靶标高度和第一靶。

24、标的特征点之间的像素 距离， 得到求解负载起升高度的拟合方程； 0049 具体地为， 根据分层标定公式将起升高度分为多层。 标定过程中， 负载在无摆动状 态下沿竖直方向起升， 每次负载起升高度由分层标定公式确定。 则有通过分析每层高度第 一靶标特征点之间的距离可以建立求解负载起升高度的拟合方程HP1S， 式中， S S2 S 1T为第一靶标特征点之间的像素距离， P1P12 P11 P10为拟合方程的系数。 本 实施例中， 负载起升高度的拟合方程为H0.007S2-8.785S-1281.519。 0050 当吊钩竖直起升时， 第一靶标中心即为起吊中心， 分析每层第一靶标中心的像素 坐标， 得。

25、到起吊中心的像素坐标拟合方程。 0051 起重机的工作过程包括大车和小车的相互垂直平动和负载的竖直起升。 因此负载 和周围障碍物的位置可以简化为其相对于负载竖直起吊中心的位置。 同时， 考虑到单目相 机安装在负载正上方的对心难度， 本发明为简化相机的安装步骤， 不需将单目相机安装在 负载的正上方。 同样， 利用分层标定策略建立不同层高度和竖直起吊中心像素坐标的拟合 方程。 当负载竖直起升时， 第一靶标中心即为起吊中心， 则有通过分析每层高度第一靶标中 说明书 4/6 页 7 CN 110745702 A 7 心的像素坐标， 可以得到竖直起吊中心像素坐标的拟合方程式中， (uq,vq)为起吊 中。

26、心的行像素坐标和列像素坐标。 HH2 H 1T为负载起升高度， P2和P3分别为行像素坐标 和列像素坐标拟合方程的系数， 其中P3P32 P31 P30。 本实施例中， 起吊中 心的像素坐标拟合方程为 0052 S2、 工作空间的信息测量： 0053 当有负载实际起吊时， 起重机的吊钩位置即为负载位置； 利用单目相机实时采集 第一靶标和第二靶标的图像， 根据S1得到的负载起升高度的拟合方程和起吊中心的像素坐 标拟合方程， 以及空间几何分析， 计算工作空间的信息。 0054 所述的工作空间的信息包括负载偏心角度、 负载偏心位移、 负载旋转角度、 负载与 障碍物距离和障碍物高度。 其中负载的起升高。

27、度H为负载距离地面的高度。 负载的偏心角度 p为负载偏离竖直起吊中心的角度， 即在负载起吊时表现为负载的斜拉角度； 在负载起吊 后， 表现为负载的摆动角度。 负载的旋转角度 x为负载绕负载中心水平转动的角度。 障碍物 的高度Hz是障碍物底部距离地面的距离。 障碍物和负载之间的水平距离为D。 0055 所述的S2具体为： 0056 2.1、 负载偏心角度和偏心位移的测量： 0057 实时采集第一靶标的图像， 得到第一靶标中心的像素坐标(ub,vb)和第一靶标的特 征点之间的像素距离S， 根据所述的负载起升高度的拟合方程， 得到负载的起升高度H； 然 后根据所述的起吊中心的像素坐标拟合方程， 计算。

28、得到起吊中心像素坐标(uq,vq)； 从而在 大车和小车方向上负载偏移起吊中心的像素距离为u、 v分别为负载在小车 和大车运动方向上偏离起吊中心的像素距离； 0058根据公式计算负载在小车方向和大车方向的偏移距离为X、 Y； 0059进而有负载的偏心角度为 0060 2.2、 负载旋转角度的测量： 0061 长型负载， 如型材、 棒材等， 在起吊时的旋转将严重影响起重机的工作效率。 为实 现起吊负载旋转角度的实时测量和监控， 建立负载旋转角度的单目相机测量模型。 具体的 为， 包含一个特征点的第三靶标板置于负载一端顶部。 利用负载上靶标中心的像素坐标 (ub,vb)和吊钩上靶标中心的像素坐标(。

29、uf,vf)， 基于几何关系可得负载旋转角度 x的计算公 式为此外， 将靶标板固定于吊具一端顶部， 也可以实现吊具旋转角度的测 量。 0062 2.3、 负载与障碍物距离和障碍物高度的测量： 0063 当有障碍物进入单目相机视野范围内， 单目相机将采集置于该障碍物顶部的第二 说明书 5/6 页 8 CN 110745702 A 8 靶标的图像， 并根据第二靶标的特征点像素坐标计算得到第二靶标的中心像素坐标(uz, vz)， 进而根据第一靶标中心的像素坐标(ub,vb)得到负载与障碍物在小车和大车运动方向 上的距离Dx和Dd分别为 0064 固定在吊钩上的靶标与置于障碍物顶部的靶标相同， 则有根。

30、据拟合方程HP1 S， 利用置于障碍物顶部靶标特征点之间的像素距离， 可以得到障碍物的高度Hz。 0065 本发明基于单目相机测量的起重机工作空间信息， 将促进起重机的智能控制和安 全监控技术的发展。 例如在负载起升过程， 利用实时测量的负载斜拉角度， 可以实现起重机 的自动对心控制， 防止斜拉歪吊； 在负载运输过程中， 实时追踪的负载摆动角度和起升高度 可以实现闭环防摆； 起吊负载的自动旋转控制可以根据实时测量的旋转角度来实现； 旋转 机构的负载的起升高、 度障碍物的高度和负载与障碍物的距离可以用来设计自动避障控制 系统， 实现起重机的自动避障， 提高起重机的运输安全性。 同时， 单目相机可以实现起重机 运动状态的实时监控， 实现起重机工作空间的实时显示， 有助于远程监控的实现。 0066 以上实施例仅用于说明本发明的设计思想和特点， 其目的在于使本领域内的技术 人员能够了解本发明的内容并据以实施， 本发明的保护范围不限于上述实施例。 所以， 凡依 据本发明所揭示的原理、 设计思路所作的等同变化或修饰， 均在本发明的保护范围之内。 说明书 6/6 页 9 CN 110745702 A 9 图1 图2 说明书附图 1/2 页 10 CN 110745702 A 10 图3 图4 说明书附图 2/2 页 11 CN 110745702 A 11 。