一种采摘果蔬的识别定位方法技术领域
本发明涉及收获机械技术领域，特别还涉及一种采摘果蔬的识别定位方法。
背景技术
近年来，国内外对采摘机器人的研究更加深入。采摘机器人的应用可以大量减少
劳动力，提高工作效率，但是采摘机器人的发展还不完善，离大规模应用还有较长的路要
走。首先，对于采摘机器人来说，由于自然工作环境非结构化的特点，存在很多影响果蔬识
别的因素，采摘机器人是否能够快速且准确地识别定位出果蔬，与采摘成功与否密切相关。
树枝遮挡、果蔬相互遮挡、图像匹配难度高等都给采摘机器人末端执行器定位带
来困难。另外，现在的果蔬识别技术难以区分成熟果蔬和不成熟果蔬、无损伤果蔬和有损伤
果蔬，难以实现果蔬选择性采摘，因此，果蔬识别定位问题现已成为推动采摘机器人实用化
亟待解决的关键问题之一。
发明内容
本发明的目的是提供一种采摘果蔬的识别定位方法，以更准确识别果蔬采摘点，
提高采摘机器人作业可靠性。
为解决上述技术问题，提供一种依照本发明实施方式的果蔬识别定位方法其包括
步骤：
双目视觉系统由左摄像机、右摄像机、计算机控制平台组成，与左摄像机、右摄像
机固连的空间坐标系分别为左摄像机坐标系、右摄像机坐标系，左摄像机、右摄像机的成像
平面分别为左成像平面、右成像平面，左成像平面上有两个平面坐标系分别为左平面像素
坐标系和左平面物理坐标系，右成像平面上有两个平面坐标系分别为右平面像素坐标系和
右平面物理坐标系；
1)使用双目视觉系统，通过左摄像机、右摄像机分别抓取果蔬区域近景在左成像
平面、右成像平面上的左摄像机图片、右摄像机图片；
2)人工采用鼠标在左摄像机图片、右摄像机图片中分别点取同一果蔬采摘点的左
平面像素坐标点、右平面像素坐标点，以获取采摘点在左平面像素坐标系、右平面像素坐标
系上的左平面像素坐标值、右平面像素坐标值；
3)将左平面像素坐标值、右平面像素坐标值分别转换为左平面物理坐标系、右平
面物理坐标系上的左平面物理坐标值、右平面物理坐标值；
4)将采摘点的左平面物理坐标值、右平面物理坐标值转换为左摄像机坐标系、右
摄像机坐标系上的左摄像机空间坐标值、右摄像机空间坐标值；
5)设左摄像机坐标系为基准坐标系，将采摘点的右摄像机空间坐标值从右摄像机
坐标系转换至左摄像机坐标系；
6)在基准坐标系内，联合求解出采摘点空间坐标值(X，Y，Z)。
本发明的有益效果在于通过人工参与识别果蔬，从而更准确识别果蔬及准确定位
采摘点，实现果蔬选择性采摘，提高机器工作可靠性。
附图说明
图1是依据本发明实施方式的果蔬采摘点识别定位原理图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
如图1所示，由左摄像机光心Ocl与Xcl、Ycl、Zcl轴组成左摄像机坐标系，左成像平面
为πl，左成像平面左上角Oa与ul、vl轴组成左摄像机平面像素坐标系，左摄像机光轴Ocl-Zcl通
过πl平面，交点为Ol，则Ol与xl、yl轴组成左摄像机平面物理坐标系，Xcl、ul及xl轴相互平行，
Ycl、vl及yl轴相互平行，且Zcl垂直于成像平面，同理，由右摄像机光心Ocr与Xcr、Ycr、Zcr轴组成
右摄像机坐标系，右成像平面为πr，右成像平面左上角Ob与ur、vr轴组成右摄像机平面像素
坐标系，右摄像机光轴Ocr-Zcr通过πr平面，交点为Or，则Or与xr、yr轴组成右摄像机平面物理
坐标系。Xcr、ur及xr轴相互平行，Ycr、vr及yr轴相互平行，且Zcr垂直于成像平面。通过双目摄
像机标定可获得摄像机的内部参数及外部参数，因此可知左摄像机坐标系同右摄像机坐标
系存在一定几何关系，且两摄像机光心Ocl、Ocr间的距离为64mm。采摘点P(X，Y，Z)在左摄像
机平面像素坐标系、右摄像机平面像素坐标系中的坐标分别为pl(ul，vl)、pr(ur，vr)。
双目视觉系统由左摄像机、右摄像机、计算机控制平台组成，与左摄像机、右摄像
机固连的空间坐标系分别为左摄像机坐标系、右摄像机坐标系，左摄像机、右摄像机的成像
平面分别为左成像平面、右成像平面，左成像平面上有两个平面坐标系分别为左平面像素
坐标系和左平面物理坐标系，右成像平面上有两个平面坐标系分别为右平面像素坐标系和
右平面物理坐标系；
1)使用双目视觉系统，通过左摄像机、右摄像机分别抓取果蔬区域近景在左成像
平面πl、右成像平面πr上的左摄像机图片、右摄像机图片；
2)人工采用鼠标在左摄像机图片中点取果蔬采摘点的左平面像素坐标点pl(ul，
vl)，在极线几何约束条件下，在右摄像机图片中点取同一果蔬采摘点的右平面像素坐标点
pr(ur，vr)，以分别获取采摘点在左平面像素坐标系、右平面像素坐标系上的左平面像素坐
标值、右像平面素坐标值；
3)将左平面像素坐标值、右平面像素坐标值分别转换为左平面物理坐标系、右平
面物理坐标系上的左平面物理坐标值(xl,yl)、右平面物理坐标值(xr,yr)；
4)将采摘点的左平面物理坐标值、右平面物理坐标值转换为左摄像机坐标系、右
摄像机坐标系上的左摄像机空间坐标值(Xcl,Ycl,Zcl)、右摄像机空间坐标值(Xcr,Ycr,Zcr)，
其中，fl、fr分别是左摄像机、右摄像机有效焦距，sl、sr为常数比例因子，可计算消
除；
5)设左摄像机坐标系为基准坐标系，即空间坐标系，将采摘点的右摄像机空间坐
标值从右摄像机坐标系转换至左摄像机坐标系，
其中，(Xcl,Ycl,Zcl)为左摄像机空间坐标值、(Xcr,Ycr,Zcr)为右摄像机空间坐标值，
R、T分别为右摄像机坐标系向左摄像机坐标系变换的旋转矩阵和平移向量；
6)在基准坐标系内，联合求解出采摘点空间坐标值(X，Y，Z)。
根据采摘点空间坐标值(X，Y，Z)，通过路径规划，上位机分别控制采摘机器人底盘
及机械臂在基准坐标系内由当前位置运动至该空间坐标值对应的位置，完成采摘点定位，
并实现选择性采摘。