基于三个摄像系统在线水果品质检测分级的装置与方法.pdf

本发明涉及水果检测装置和方法，其由水果输送翻转部分、计算机视觉识别部分和水果分级动作部分组成。其特征在于计算机视觉识别部分，由三个逐行扫描彩色摄像系统、一个光照箱、两个光电传感器、一个同步器、高速数据通讯模块、控制模块和相应的软件组成。水果高速输送并绕水平小轴自由转动，保证通过计算机视觉识别部分时能翻转240度左右；计算机视觉识别部分通过三个摄像系统，对每个水果采集9幅图像，融合这些图像的信息，提取品质特征信息，再采用识别软件结合知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，并通过控制模块控制水果分级动作部分。其可以很方便的区分水果的果梗与果萼，提高了水果的形状和大小和缺陷检测的精度。

1.  基于三个摄像系统在线水果品质检测分级装置，由水果输送翻转部分、计算机视觉识别部分和水果分级动作部分组成，计算机视觉识别部分安装在水果输送翻转部分上，水果分级动作部分安装在水果输送翻转部分的后面；所述的水果输送翻转部分为通过链条带动的双锥滚子前进的水果输送翻转装置，且滚子可以绕水平小轴自由转动；所述的水果分级部分采用能根据计算机视觉部分提供的分级信号产生分级动作的由分级执行机构和分级驱动机构组成的分级动作部分或喷气选别装置；
其特征在于：所述的计算机视觉识别部分由三个逐行扫描彩色摄像系统、一个光照箱(1)、两个光电传感器(16)、一个同步器(3)、高速数据通讯模块(10)、控制模块(14)和相应的软件组成，其中三个逐行扫描彩色摄系统中每个系统中由一个逐行扫彩描色数字摄像头(7)、一块高速数字图像采集卡(5)、一台计算机(6)顺序连接而成，两个光电传感器(16)安装在水果输送翻转装置(2)上，通过线路分别与同步器(3)相连，同步器(3)通过线路分别与三台计算机(6a、9b、13c)中的高速数字图像采集卡(5a、8b、12c)和控制模块(14)相连；光照箱(1)安装在水果输送翻转部分(2)的上方，里面安置有多盏荧光灯组成的光源(17)，三个逐行扫描彩色数字摄像头(4a、7b、11c)安装在光照箱(1)内，并垂直于水果输送方向的同一平面内，其中一个摄像头(4a)安装在输送线的上方，其它两个(7b、11c)安装在输送线的两侧，三个摄像头(4a、7b、11c)经线路分别与三台计算机(6a、9b、13c)内的高速数字图像采集卡(5a、8b、12c)相连；其中一台计算机(12c)通过数据线与控制模块(14)相连，控制模块(14)与相应的分级执行机构和分级驱动机构(15)相连。

2.  基于三个摄像系统在线水果品质检测分级装置的检测方法，其特征在于：
(1).水果输送翻转部分使水果以一定的速度向前自动成单列以3～5个/秒的速度高速输送并绕水平小轴自由转动；
(2).计算机视觉识别部分通过安装在垂直于水果输送方向同一个平面内的三个逐行扫描彩色数字摄像系统，对每一个水果采集9幅图像；
(3).融合这9幅图像的信息完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级，进行处理，并从中提取品质特征信息，再采用智能识别软件结合由已有的标准和水果数据库生成的知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，并通过控制模块将分级指令发送到水果分级动作部分。

3.  根据权利要求2所述的检测方法，其特征在于：
(1).当一个水果在边翻转边高速前进的过程中，当达到计算机视觉识别部分第一拍摄位置时，通过触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，三个逐行扫描彩色数字摄像系统获取该水果和前面两个水果的上表面和两个侧面的图像，并迅速对所得的图像进行分析处理，要在水果达到第二个拍摄位置时处理完；
(2).该水果达到第二拍摄位置时，由于水果时边翻转边高速前进，水果已翻转了120度左右的角度，再次触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，按上述工作步骤获取图像，完成图像分析处理，并在水果达到第三个拍摄位置时完成图像分析处理；
(3).水果达到第三拍摄位置时，水果又翻转120度左右的角度，并再次按上述工作步骤获取图像，并完成图像分析处理。

4.  根据权利要求2所述的检测方法，其特征在于：所述的序列图像处理中包括每一幅图像获取、去背景、滤波、三个水果图像分割、对每个水果的图像分别进行特征提取。

5.  根据权利要求2所述的检测方法，其特征在于：所述的特征提取包括水果边沿信息的提取、颜色特征的提取，以及在此基础上对该幅水果图像的果梗果萼、缺陷、形状、大小的初步判断。

6.  根据权利要求2所述的检测方法，其特征在于：所述的高速数据通讯模块包括通讯所用的硬件和软件，把三台计算机所处理的信息及时迅速的融合到一台计算机内，在毫秒级的时间内完成三台计算机间的通讯。

基于三个摄像系统在线水果品质检测分级的装置与方法
所属技术领域
本发明涉及一种按照物品的特性进行实时在线检测和分级的机器视觉检测装置和方法，特指一种用于水果高速检测线上的基于三个摄像系统在线水果品质检测分级的方法与装置。
背景技术
随着计算机技术、图像处理技术、模式识别技术、电子技术的飞速发展，利用机器视觉技术进行水果的分级得到广泛的研究。国外从20世纪90年代初就开始研究基于计算机视觉技术的水果分级系统，到现在已有部分实用的产品，如美国的OSCARTM型和MERLIN型高速水果分级生产线，用于苹果、梨、橘子、桃子等水果的分等定级和品质检测。相关美国专利有，Yang Tao等人的美国专利“Method and apparatusfor sorting objects by color(通过颜色对物品进行分级的方法和装置)申请号：5339963”，用一个彩色摄像头对输送链上的物品进行快速检测与分级，主要用HIS颜色系统中的色度(H)进行分类计算。Yang Tao等人的美国专利“Method and apparatus for sorting objects by color including stable color tansformation(用颜色对物品进行分级的方法和装置包括一种静态图像的转换方法)申请号：5533628”，描述了一种基于单个摄像头的水果分级系统。国内，有应义斌等人在他们所申请的多个相关中国专利(申请号：02136377.3，02266031.3，02160193.3 02295073.7，02295073.7)中也描述了一种基于单个摄像头的水果分级系统。这些系统由水果输送翻转系统、计算机视觉识别系统、分级系统组成。水果在输送装置上以一定速度向前输送，并使水果绕水平轴自由转动，摄像头摄取水果表面的图像信息。通过计算机视觉系统的视觉智能识别，综合判断每一水果的等级，并确定每个水果的位置信息，由计算机识别系统的控制模块将指令传输给分级系统，完成水果的分级。
以上所有公开文件对一个水果都是用单个摄像头进行拍摄，虽然对某些特定水果检测时能达到要求，但误差比较大，主要存在以下问题，1)机器视觉系统只能检测到水果90％左右的表面；2)对缺陷检测时怎样区分它们与果梗与果萼的差别；3)由于水果大都是非规则物体，当在线检测时要求水果既要以一定速度向前输送，又要使水果绕水平轴自由转动，这样水果很难以适当的姿态呈现在单个摄像机的视场内，这样给形状和大小的检测结果带来误差；4)所用的摄像系统多为普通数据采集卡和摄像头组成，如应义斌等人研制的水果品质实时检测和分级机器人系统中摄像系统采用的就是MATROX公司生产的MatroxMe-teorII/Standard卡和东芝公司生成的PanasonicCP410彩色摄像机组成的(《浙江大学学报(农业与生命科学版)》第30卷第2期，2004年)，由于所拍摄的水果是高速运动的，这样的系统采集的水果动态图像是模糊的，也就是图像有点虚，他们在图像处理中需要加上图像校正这一步来进行反模糊运算，这样会给系统带来误差。
水果缺陷的检测，是一个世界性的难题，但又是水果分选分级中必须检测的一项，因为如果腐烂的水果没有检测出来，它在运输和贮藏的过程中会造成周围的水果都腐烂，造成的经济损失会很大。因此许多研究者都在研究这一问题，解决得比较好的有Yang Tao等人的美国专利“Item defect detection apparatus and method(一种缺陷检测的方法和装置)”申请号：6.271520，该发明在水果检测线上平行布置两个红外摄像系统来在线检测水果缺陷的装置和方法，其中一个为近红外摄像系统，另一个为中红外摄像系统，能够方便的将果梗、国萼与缺陷区分出来：和Yang Tao等人的美国专利“Defective object inspection and separation systemusing image analysis and curvature transformation(用图像处理技术和曲面变换检测和区分缺陷物品”)申请号：5732147，发明了一种体成像技术使水果的缺陷更容易在线检测的方法。但这两种方法都存在检测成本太高，且检测数据不够精确，以及未能解决果梗与果萼识别的问题。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于三个摄像系统在线水果品质检测分级的装置与方法，可以准确、有效、全面地获取那些在输送线上高速运动并均匀的翻动的水果外部品质特征信息，能快速地找到果梗与果萼，并在此基础上完成水果形状、大小、颜色、缺陷等外观品质指标地准确检测，实现水果的实时检测与分级。
本发明的技术方案如下：
本发明所述检测分级装置由水果输送翻转部分、计算机视觉识别部分和水果分级动作部分组成。计算机视觉识别部分安装在水果输送翻转部分上，水果分级动作部分安装在水果输送翻转部分的后面。
所述的水果输送翻转部分与应义斌等人的实用新型专利“水果品质智能化检测与分级生产线”(申请号：02266034.8)中的水果输送翻转部分类似。即设置通过链条带动地双锥滚子前进的水果输送翻转装置，且滚子可以绕水平小轴自由转动，水果必须以3～5个/秒的速度高速前进，并且保证在通过计算机视觉识别部分时能转动一周，把整个表面呈现给计算机识别部分。
所述的水果分级部分可以采用应义斌等人的实用新型专利“水果品质智能化检测与分级生产线”(申请号：02266034.8)中的分级动作部分，也可以采用张聪等人的实用新型专利“一种水果分级机”(申请号：03273524.3)中的喷气选别装置，要求它们能根据计算机视觉部分提供的分级信号产生分级动作，把不同级别的水果分开分装到不同收集箱内，准确的完成水果分级。
本发明装置的特征在于：所述的计算机视觉识别部分，其是本发明的核心部分，由三个逐行扫描彩色摄像系统、一个光照箱、两个光电传感器、一个同步器、高速数据通讯模块、控制模块和相应的软件组成。其中三个逐行扫描彩色摄系统中每个系统中由一个逐行扫彩描色数字摄像头、一块高速数字图像采集卡、一台计算机顺序连接而成。两个光电传感器安装在水果输送翻转装置上，通过线路分别与同步器相连，同步器通过线路分别与三台计算机中的高速数字图像采集卡和控制模块相连，提供图像拍摄的触发信号和每个水果的位置；光照箱安装在水果输送翻转部分的上方，里面安置有多盏荧光灯，在水果表面产生均匀的漫反射光，三个逐行扫描彩色数字摄像头安装在光照箱内，并垂直于水果输送方向的同一平面内，其中一个摄像头安装在输送线的上方，其它两个安装在输送线的两侧，能同步拍摄到同一位置的三个水果图像，三个摄像头经线路分别与三台计算机内的高速数字图像采集卡相连，将所拍摄的图像存入计算机；其中一台计算机通过数据线与控制模块相连，控制模块发出信号控制相应的分级执行机构和分级驱动机构将水果送到相应的收集箱内。
本发明所述的检测分级方法，其特征在于：
(1).水果输送翻转部分使水果以一定的速度向前自动成单列以3～5个/秒的速度高速输送并绕水平小轴自由转动，保证在通过计算机视觉识别部分时能翻转240度左右，把水果整个表面呈现给计算机识别部分；
(2).计算机视觉识别部分通过安装在垂直于水果输送方向同一个平面内的三个逐行扫描彩色数字摄像系统，对每一个水果采集9幅图像；
(3).融合这9幅图像的信息完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级，进行处理，并从中提取品质特征信息，再采用智能识别软件结合由已有的标准和水果数据库生成的知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，并通过控制模块将分级指令发送到水果分级动作部分；
具体而言：1).当一个水果在边翻转边高速前进的过程中，当达到计算机视觉识别部分第一拍摄位置时，通过触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，三个逐行扫描彩色数字摄像系统获取该水果和前面两个水果的上表面和两个侧面的图像，并迅速对所得的图像进行分析处理，且在水果达到第二个拍摄位置时完成图像分析处理；
2).该水果达到第二拍摄位置时，由于水果时边翻转边高速前进，水果已翻转了120度左右的角度，再次触发传感器和同步器同时触发三个逐行扫描彩色数字摄像系统，按上述工作步骤获取图像，完成图像分析处理，并在水果达到第三个拍摄位置时完成图像分析处理；
3).水果达到第三拍摄位置时，水果又翻转120度左右的角度，并再次按上述工作步骤获取图像，并完成图像分析处理。
所述的序列图像处理中包括每一幅图像获取、去背景、滤波、三个水果图像分割、对每个水果的图像分别进行特征提取。
所述的特征提取包括水果边沿信息的提取、颜色特征的提取，以及在此基础上对该幅水果图像的果梗、果萼、缺陷、形状、大小的初步判断。
所述的高速数据通讯模块要求把三台计算机所处理的信息及时迅速的融合到一台计算机内，它包括通讯所用的硬件和软件，必须在很短(毫秒级)的时间内完成三台计算机间的通讯。
采用相应识别软件结合水果分级标准和水果数据库生成的知识库对前面三台计算机所提取的特征和初步判断的信息进行融合，完成水果形状、大小、颜色、缺陷等全部外观品质的检测，得到每一水果的等级。
光照箱中的光源可以针对不同的水果对象进行选择和位置调整，选取合适的光源频谱和空间位置，并使三个摄像头的视场内的光照均匀一致，三个摄像头在光源箱中的位置也可以根据水果对象进行调整，使三个摄像头可以获得三个水果图像。
工作时，水果在输送翻转装置上一边随着链条带动的双锥滚子前进，一边在滚子的作用下绕水平小轴自由转动，在计算机视觉识别部分内的沿输送方向的三个等距位置，三次触动光电传感器，每次触发光电传感器，光电传感器通过同步器将水果位置发送给控制模块和计算机，并通过同步器同时触发三台计算机内的高速数字图像采集卡，从三个不同方向同步采集水果的图像，由于三个摄像头能同时从水果的上方和两侧拍摄到同一位置的三个水果图像，也就是水果在前进的过程中会被同一个摄像头拍摄三次，这样对同一个水果将得到9幅图像，保证水果的整个表面都能被摄像系统采集到，三台计算机在每次拍摄完后，及时对所拍摄的序列图像进行处理，并通过高速数据通讯模块融合每个水果的9幅图像的信息，通过识别软件完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级。最后通过控制模块将分级指令发送到水果自动分级动作部分，由水果自动分级动作部分最后完成水果分级。
本发明的效果是：(1)本发明的三个摄像系统均采用逐行扫描的数字彩色摄像头和高速数字图像采集卡，这样不论水果运动多复杂、多快都能获得清晰的水果图像；(2)本发明采用三个摄像系统同步采集在线检测是以往文件中没有涉及的，本发明中对同一个水果可以得到9幅图像，从而保证水果的表面都能被采集到，与一个或两个摄像系统相比，不会遗漏任何信息，若采用三个以上摄像系统，则冗余信息过多，增加了后面软件数据处理和通讯的难度，并且处理速度变慢；(3)通过高速数据通讯模块将三个摄像系统所得到的9幅图像信息融合，可以很方便的区分水果的果梗与果萼，从而提高了水果的形状和大小的检测精度，以及提高了缺陷检测的精度；(4)本发明通过高速数据通讯模块和高速的处理软件将三个摄像系统的信息及时融合起来，保证单线水果分级速度为3～5个/秒，就苹果来说分选能力可达到3～4吨/小时。
附图说明
图1本发明的结构示意图；
图2计算机视觉识别部分结构框图；
图3同一个水果f_i在光照箱内三个不同时刻在同一个摄像头内呈现的三幅图像；
图4三个摄像头从三个不同方向拍摄到同一位置的三个水果图像；
图5计算机视觉识别部分工作过程示意图；
1-光照箱，2-水果输送翻转部分，3-同步器，4-逐行扫描彩色数字摄像头a，5-高速数字图像采集卡a，6-计算机a，7-逐行扫描彩色数字摄像头b，8-高速数字图像采集卡b，9-计算机b，10-高速数据通讯模块，11-逐行扫描彩色数字摄像头c，12-高速数字图像采集卡c，13-计算机c，14-控制模块，15-水果自动分级动作部分，16-光电传感器，17-光源，18-水果
具体实施方式
如图1所示，本发明由水果输送翻转部分2、计算机视觉识别部分和水果自动分级动作部分15组成，水果输送翻转部分2和水果自动分级动作部分15的结构同相关专利“水果品质实时检测和分级的机器人系统”(申请号：02136377.3)中的图2、图4、图5所示，设置通过链条带动的双锥滚子前进，且滚子可以绕水平小轴自由转动的水果输送翻转装置。水果自动分级动作部分15可选用的装置很多，如应义斌等人的实用新型专利“水果品质智能化检测与分级生产线”(申请号：02266034.8)中的分级动作部分，和张聪等人的实用新型专利“一种水果分级机”(申请号：03273524.3)中的喷气选别装置，本专利中选用前者，即申请号为02266034.8中的分级动作部分。
如图1、图2所示，计算机视觉识别部分：由三个逐行扫描彩色摄像系统、一个光照箱1、两个光电传感器16、一个同步器3、高速数据通讯模块10、控制模块组成14，其中第一个逐行扫描彩色摄系统由逐行扫描彩色数字摄像头4a、高速数字图像采集卡5a、计算机6a顺序连接而成。第二个逐行扫描彩色摄系统为逐行扫描彩色数字摄像头7b、高速数字图像采集卡8b、计算机9b顺序连接而成。第三个逐行扫描彩色摄系统为逐行扫描彩色数字摄像头11c、高速数字图像采集卡12c、计算机13c顺序连接而成。两个光电传感器16安装在水果输送翻转部分2上，通过线路分别与同步器3相连，同步器3通过线路分别与高速数字图像采集卡5a、8b、12c相连，以及和控制模块14相连，提供图像拍摄的触发信号和每个水果18的位置；光照箱1安装在水果输送翻转部分2的上方，里面安置有多盏荧光灯光源17，在水果18表面产生均匀的漫反射光，在光照箱1内的三个逐行扫描彩色数字摄像头4a、7b、11c分别从顶部和两侧安装在垂直于水果输送方向的平面内，并保证在这三个摄像头4a、7b、11c能从两侧和顶部同步拍摄到同一位置的三个水果图像，三个摄像头4a、7b、11c经线路分别与高速数字图像采集卡5a、8b、12c，高速数字图像采集卡5a、8b、12c分别与三台计算机相连6a、9b、13c；三台计算机6a、9b、13c间通过高速数据通讯模块10相连，随时融合所拍摄的信息；其中一台计算机13c通过数据线与控制模块14相连，控制模块14发出信号给水果自动分级动作部分15控制相应的分级执行机构和分级驱动机构将水果送到相应的收集箱内。
根据所检测的水果，选择适当频谱的光源18安装在光照箱1中，并确定光源18的位置，使三个摄像头的视场内的光照均匀一致。同时调整三个4a、7b、11c摄像头在光源箱中的位置，使每个摄像头可以获得多个水果的图像。
如图5所示，工作时，水果在输送翻转装置2上一边随着链条带动的双锥滚子前进，一边在滚子的作用下绕水平小轴自由转动，当达到光照箱1内的拍摄位置时，触动光电传感器16，光电传感器16通过同步器3将水果位置发送给控制模块14和计算机13，并通过同步器3同时触发高速数字图像采集卡5a、8b、12c，高速数字图像采集卡5a、8b、12c将水果图像传入三台计算机内。从三个不同方向同步采集水果的图像，由于三个逐行扫描彩色数字摄像头4a、7b、11c能同时从三个不同方向拍摄到如图4所示的同一位置的三个水果图像，也就是水果18在前进的过程中会被同一个摄像头拍摄三次，这样对同一个水果将得到九幅图像，保证水果18的整个表面都能被摄像系统采集到，三台计算机6a、9b、13c通过高速数据通讯10模块融合这九幅图像的信息进行处理，并从中提取品质特征信息，通过智能识别软件结合由已有的标准和水果数据库生成的知识库完成水果形状、大小、颜色、缺陷等全部外观品质的检测，综合得到每一水果的等级，并通过控制模块14将分级指令发送到水果自动分级动作部分15，由水果自动分级动作部分15最后完成水果分级。
所述的水果18在前进的过程中被同一个摄像头拍摄三次是这样实现的，如图3所示，水果转动着经过光照箱内的三个位置在其中一个摄像头内所呈现的图像，图3中水果f_i在3个时刻t₀到t₂的三个位置。这样，对每一个水果从同一个摄像头中就可以得到3幅图像，则三个摄像头可以得到9幅图像，从而保证水果所有表面的信息都可以采集到。