基于机器视觉的细胞样本离心处理系统及方法.pdf

《基于机器视觉的细胞样本离心处理系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于机器视觉的细胞样本离心处理系统及方法.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010969791.4 (22)申请日 2020.09.15 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大学路 3501号 (72)发明人 李庆华于卓扬周翔崔瑶瑶 葛冰洋申亚辉 (74)专利代理机构 济南圣达知识产权代理有限 公司 37221 代理人 董雪 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/136(2017.01) G06T 7/13(2017.01) G06T 5/00(2006.01) G06T 5/3。

2、0(2006.01) G06T 7/73(2017.01) G06T 7/62(2017.01) B25J 9/00(2006.01) B25J 9/16(2006.01) B25J 15/08(2006.01) B25J 18/00(2006.01) (54)发明名称 一种基于机器视觉的细胞样本离心处理系 统及方法 (57)摘要 本发明公开了一种基于机器视觉的细胞样 本离心处理系统及方法， 包括： 离心机， 所述离心 机的试管盒放置位置分别设置设定颜色的卡片； 图像获取模块， 用于获取离心机图像； 图像处理 模块， 用于根据获取的离心机图像确定放置或者 抓取试管盒的点位坐标； 智能机械臂模块。

3、， 用于 根据点位坐标对试管盒执行放置动作。 本发明有 益效果： 本发明大幅简化了人工操作， 由原来的 人工完成放置改变为机械臂完成放置， 能够节省 人力， 提高工作效率， 减少因人工操作失误引起 的损失， 为细胞样本离心处理及其后续操作提供 有力保障。 权利要求书2页 说明书6页 附图4页 CN 112102289 A 2020.12.18 CN 112102289 A 1.一种基于机器视觉的细胞样本离心处理系统， 其特征在于， 包括： 离心机， 所述离心机的试管盒放置位置分别设置设定颜色的卡片； 图像获取模块， 用于获取离心机图像； 图像处理模块， 用于根据获取的离心机图像确定放置或者抓取。

4、试管盒的点位坐标； 智能机械臂模块， 用于根据点位坐标对试管盒执行放置动作。 2.如权利要求1所述的一种基于机器视觉的细胞样本离心处理系统， 其特征在于， 所述 图像获取模块包括： 工业相机和辅助光源， 工业相机设置在离心机上方， 辅助光源设置在离 心机侧面。 3.如权利要求1所述的一种基于机器视觉的细胞样本离心处理系统， 其特征在于， 所述 图像处理模块对获取的离心机图像进行预处理和阈值操作后， 基于ADP算法寻找最小矩形， 得到卡片所在的位置， 从而确定试管盒放置位置的点位坐标， 并将其转换为智能机械臂模 块能够识别的坐标。 4.如权利要求1所述的一种基于机器视觉的细胞样本离心处理系统， 。

5、其特征在于， 所述 智能机械臂模块根据试管架和试管盒实际摆放位置确定机械臂移动点位， 控制机械臂将试 管架中的试管抓取并放置到试管盒中。 5.一种基于机器视觉的细胞样本离心处理方法， 其特征在于， 包括： 获取离心机图像信息； 对所述图像进行预处理， 所述预处理包括： 灰度化、 去噪和腐蚀操作； 通过阈值操作将图像转化为二值图像； 首先使用ADP算法寻找最小的设定形状， 所述形状为卡片的形状； 确定卡片所在的位置， 并将其转换为机械臂能够识别的坐标； 基于所述坐标控制机械臂完成试管盒的放置动作。 6.如权利要求5所述的一种基于机器视觉的细胞样本离心处理方法， 其特征在于， 通过 阈值操作将图像。

6、转化为二值图像时， 使用可对阈值进行动态调整的trackBar模块对图像的 阈值进行实时调整。 7.如权利要求5所述的一种基于机器视觉的细胞样本离心处理方法， 其特征在于， 确定 卡片所在的位置， 并将其转换为机械臂能够识别的坐标， 具体包括： 通过棋盘标定模板对相机进行标定； 转动标定模板， 从不同的角度拍摄棋盘标定模板的图像， 求出内参矩阵和外参矩阵， 从 而得到相机坐标与图像坐标的投射矩阵， 依据这个对应关系就能把相机获取的二维图像中 的某个点位转化为现实世界的三维坐标， 此坐标即为机械臂要放置试管盒的坐标。 8.如权利要求7所述的一种基于机器视觉的细胞样本离心处理方法， 其特征在于， 。

7、对相 机进行标定的方法包括： 打印棋盘标定模板， 附加到一个平坦的表面上； 拍摄棋盘标定模板不同角度的图片； 检测图片中的特征点； 计算设定个数的内部参数和所有的外部参数； 通过最小二乘法先行求解径向畸变系数； 通过求最小参数值， 优化所有参数； 权利要求书 1/2 页 2 CN 112102289 A 2 将平面上的二维坐标放在通过标定建立好的模型中， 唯一确定一个现实世界中的三维 坐标。 9.一种终端设备， 其包括处理器和计算机可读存储介质， 处理器用于实现各指令； 计算 机可读存储介质用于存储多条指令， 其特征在于， 所述指令适于由处理器加载并执行权利 要求5-8任一项所述的基于机器视觉。

8、的细胞样本离心处理方法。 10.一种计算机可读存储介质， 其中存储有多条指令， 其特征在于， 所述指令适于由终 端设备的处理器加载并执行权利要求5-8任一项所述的基于机器视觉的细胞样本离心处理 方法。 权利要求书 2/2 页 3 CN 112102289 A 3 一种基于机器视觉的细胞样本离心处理系统及方法 技术领域 0001 本发明涉及细胞病理学仪器自动化控制技术领域， 尤其涉及一种基于机器视觉的 细胞样本离心处理系统及方法。 背景技术 0002 本部分的陈述仅仅是提供了与本发明相关的背景技术信息， 不必然构成在先技 术。 0003 随着人工智能的快速发展， 各行各业的智能化越来越明显。 在。

9、涉及细胞观察前的 准备工作在智能化程度上存在着不足。 在医院、 生物或医疗研究所等一些需要大量观察分 析细胞的场所， 细胞离心处理的过程完全需要人工进行操作， 这样不仅浪费了大量的人力 财力， 而且在操作的过程中可能会因为一些误操作导致细胞样本污染或者损坏。 0004 现有技术公开了通过机械臂实现细胞离心过程自动处理的技术， 但是在进行中心 位置识别时， 往往采用在目标位置贴上二维码， 通过扫描二维码信息确定中心位置； 这种方 式虽然简单有效， 但由于二维码贴放位置可能会略有误差， 导致确定的中心点与实际的中 心点存在误差， 会出现试管盒放置不准的问题。 发明内容 0005 有鉴于此， 本发明。

10、提出了一种基于机器视觉的细胞样本离心处理系统及方法， 通 过运用视觉辅助来控制智能六轴机械臂运动， 运用改进后的目标点位位置确定算法， 能够 实现对离心机内部点位的精确定位， 通过在离心机内部放置标记点辅助确定点位位置的方 式， 使得位置偏差进一步缩小。 0006 本发明实施方式的第一个方面， 公开了一种基于机器视觉的细胞样本离心处理系 统， 包括： 0007 离心机， 所述离心机的试管盒放置位置分别设置设定颜色的卡片； 0008 图像获取模块， 用于获取离心机图像； 0009 图像处理模块， 用于根据获取的离心机图像确定放置或者抓取试管盒的点位坐 标； 0010 智能机械臂模块， 用于根据点。

11、位坐标对试管盒执行放置动作。 0011 本发明实施方式的第二个方面， 公开了一种基于机器视觉的细胞样本离心处理方 法， 包括： 0012 获取离心机图像信息； 0013 对所述图像进行预处理， 所述预处理包括： 灰度化、 去噪和腐蚀操作； 0014 通过阈值操作将图像转化为二值图像； 0015 首先使用ADP算法寻找最小的设定形状， 所述形状为卡片的形状； 0016 确定卡片所在的位置， 并将其转换为机械臂能够识别的坐标； 0017 基于所述坐标控制机械臂完成试管盒的放置动作。 说明书 1/6 页 4 CN 112102289 A 4 0018 本发明实施方式的第三个方面， 公开了一种终端设备。

12、， 其包括处理器和计算机可 读存储介质， 处理器用于实现各指令； 计算机可读存储介质用于存储多条指令， 所述指令适 于由处理器加载并执行上述的基于机器视觉的细胞样本离心处理方法。 0019 本发明实施方式的第四个方面， 公开了一种计算机可读存储介质， 其中存储有多 条指令， 所述指令适于由终端设备的处理器加载并执行上述的基于机器视觉的细胞样本离 心处理方法。 0020 与现有技术相比， 本发明的有益效果是： 0021 本发明大幅简化了人工操作， 由原来的人工完成放置改变为机械臂完成放置， 能 够节省人力， 提高工作效率， 减少因人工操作失误引起的损失， 为细胞样本离心处理及其后 续操作提供有力。

13、保障。 0022 本发明基于标准点位置的点位确定算法， 确定试管盒的放置点位坐标， 避免了二 维码扫描方式可能存在的位置偏差问题。 0023 本发明的其他特征和优点将在随后的说明书中阐述， 或者， 部分特征和优点可以 从说明书推知或毫无疑义地确定， 或者通过实施本发明的上述技术即可得知。 0024 为使本发明的上述目的、 特征和优点能更明显易懂， 下文特举较佳实施例， 并配合 所附附图， 作详细说明如下。 附图说明 0025 图1示出了本发明实施例所提供的基于机器视觉的细胞样本离心处理系统结构示 意图； 0026 图2示出了本发明实施例所提供的基于机器视觉的细胞样本离心处理方法流程 图； 00。

14、27 图3示出了本发明实施例所提供的机械臂工作过程示意图； 0028 图4示出了本发明实施例所提供的离心机图像示意图。 具体实施方式 0029 应该指出， 以下详细说明都是例示性的， 旨在对本申请提供进一步的说明。 除非另 有指明， 本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通 常理解的相同含义。 0030 需要注意的是， 这里所使用的术语仅是为了描述具体实施方式， 而非意图限制根 据本申请的示例性实施方式。 如在这里所使用的， 除非上下文另外明确指出， 否则单数形式 也意图包括复数形式， 此外， 还应当理解的是， 当在本说明书中使用术语 “包含” 和/或 “包 括”。

15、 时， 其指明存在特征、 步骤、 操作、 器件、 组件和/或它们的组合。 0031 在不冲突的情况下， 本发明中的实施例及实施例中的特征可以相互组合。 0032 实施例一 0033 在一个或多个实施方式中， 公开了一种基于机器视觉的细胞样本离心处理系统， 参照图1， 包括： 0034 离心机， 所述离心机的试管盒放置位置分别设置设定颜色的卡片； 0035 图像获取模块， 用于获取离心机图像； 说明书 2/6 页 5 CN 112102289 A 5 0036 图像处理模块， 用于根据获取的离心机图像确定放置或者抓取试管盒的点位坐 标； 0037 智能机械臂模块， 用于根据点位坐标对试管盒执行放。

16、置动作。 0038 具体地， 离心机采用标准医用离心机， 参照图4， 制作了若干白色纸质卡片， 在离心 机的框架相应位置上贴放， 由于卡片放置的位置亮度较大， 在OpenCV中可以非常容易的分 辨出那些位置以及它们的中心。 0039 图像获取模块包括高分辨率摄像头或者工业相机， 以及标准光源， 其中， 高分辨率 摄像头或者工业相机设置在离心机上正上方， 用于采集离心机的图像； 标准光源设置在离 心机的侧面， 用于提供辅助光源， 以提高图像拍摄质量。 0040 图像处理模块采用计算机实现， 用于对获取到的图像进行处理， 获取试管盒放置 位置的点位坐标， 并将其转换为机械臂能够识别的坐标。 004。

17、1 智能机械臂模块采用DOBOT智能六轴机械臂， 可直接连接计算机进行操作， 内置精 心调教的伺服电机、 谐波减速机， 最大负载为4kg， 臂长572mm， 定位精度达0.02mm； 其由J1, J2,J3,J4,J5,J6六个关节轴构成， 此六轴机械臂控制方式多样， 工作范围广， 可减小对外围 设备的干扰。 其运动功能包括笛卡尔坐标系模式、 关节运动模式、 圆弧运动模式、 点位运动 模式四种， 操作范围大。 DOBOT SR6-3六轴机械臂运动速度与加速度均为可调整值， 增加了 DOBOTSR6-3机械臂运动时的稳定性。 0042 将离心机安装于工作台上， 离心机盖开启， 相机和光源使用支撑。

18、杆固定， 镜头和光 源向下正对离心机转轴中心。 安装机械臂至离心机周围适当位置， 注意运动时不能触及其 他物体； 调整抓取控制气泵使其能控制抓具的开合； 将试管盒和试管架安装至机械臂能控 制之处， 摆正放好即可； 将电脑安装于工作台附近， 通过双绞线与相机进行通信连接。 0043 全部安装完成后， 启动电源， 依据试管架和试管盒实际摆放位置确定机械臂移动 点位， 控制机械臂执行抓取试管至试管盒的操作和抓取试管盒并获取图像系统传回点位坐 标， 放置到对应点位的操作。 将机械臂调整至准备抓取试管状态， 启动图像处理程序， 开启 光源， 调整照相机光圈至预览画面点位清晰可辨， 检查相机、 机械臂、 。

19、电脑、 离心机安装调试 无误后即可准备开始工作。 0044 本实施例中， 采用摄像头对离心机内部进行拍照， 拍照后， 对获取到的离心机图像 进行预处理： 通过灰度转化、 线性滤波、 形态学操作、 阈值操作、 寻找轮廓、 绘制矩形、 获取点 位、 坐标转化等系列操作得到机械臂要放入的点位， 如果能成功获取点位， 机械臂转向执行 放置操作。 0045 参照图3， 控制DOBOT SR6-3机械臂按照事先调整好的点位进行工作。 首先夹取试 管到试管盒中， 完成后， 获取视觉模块传回的点位信息， 夹取试管盒到相应位置放下。 如果 视觉模块没能获取到有效的点位信息， 则应当报错， 不能再进行抓取放置的操。

20、作， 避免危险 发生。 重复此操作， 直到所有的试管都被放入试管盒， 所有的试管盒都被放入离心机。 0046 提前调整好离心机的工作时间， 在离心机工作期间机械臂应当暂停运行， 等待离 心结束后再继续工作。 当试管盒被稳定放入离心机后， 控制机械臂移动离心机盖至离心机 盖为关闭状态。 完成后， 控制机械臂按下离心机启动按钮， 离心机开始工作， 机械臂等待离 心机工作结束。 0047 离心机在工作结束后， 转轴仍然会继续转动， 在转轴转动时不可以开启离心机盖 说明书 3/6 页 6 CN 112102289 A 6 取出试管盒。 所以机械臂的等待时间要比离心机工作的时间更长一些， 等待时间最好提。

21、前 人工测出并写入程序， 方便工作。 0048 离心工作完全结束后， 控制机械臂打开离心机盖， 要注意打开之后机械臂的位置 不能阻挡视觉识别， 可以在开启之后控制机械臂移动至默认位置规避此问题。 之后再次获 取视觉模块传回的点位信息， 夹出试管盒到指定位置。 如果视觉模块没能获取到有效的点 位信息， 则应当报错， 不能再进行抓取放置的操作， 避免危险发生。 重复此操作， 直到全部的 试管盒都被取出， 全部操作完成。 0049 实施例二 0050 在一个或多个实施方式中， 公开了一种基于机器视觉的细胞样本离心处理方法， 包括如下过程： 0051 (1)初始化 0052 将机械臂调整至准备抓取试管。

22、状态， 启动图像处理程序， 开启光源， 调整照相机光 圈至预览画面点位清晰可辨， 检查相机、 机械臂、 电脑、 离心机安装调试无误后即可准备开 始工作。 0053 (2)相机标定 0054 使用张正友标定法对相机进行标定。 标定流程如下： 0055 1.打印棋盘标定纸， 附加到一个平坦的表面上； 0056 2.通过移动相机或者平面拍摄标定板各种角度的图片， 一般拍摄20张； 0057 3.检测图片中的特征点； 0058 4.计算5个内部参数和所有的外部参数； 0059 5.通过最小二乘法先行求解径向畸变系数； 0060 6.通过求最小参数值， 优化所有参数； 0061 将平面上的二维坐标放在通。

23、过标定建立好的模型中， 唯一确定一个现实世界中的 三维坐标。 0062 本实施例中， 需要对相机进行标定的原因是工业相机的镜头在生产和组装过程中 的畸变程度各不相同， 这样的畸变在需要通过照片获取准确点位信息时会造成许多误差， 为减少误差， 需要进行标定操作。 0063 同时， 我们可以根据标定后得到的相机参数建立起相机成像几何模型， 因为照片 中的图像是二维场景， 而现实是三维场景， 维度的缺失导致了信息的丢失， 所以无法直接通 过二维坐标转化为三维坐标， 但是通过标定就可以建立起二维照片到三维场景的映射关 系， 将平面上的二维坐标放在通过标定建立好的模型中， 即可唯一确定一个现实世界中的 。

24、三维坐标。 0064 转动标定模板， 从不同的角度拍摄棋盘标定模板的图像， 求出内参矩阵和外参矩 阵， 从而得到相机坐标与图像坐标的投射矩阵， 依据这个对应关系就能把相机获取的二维 图像中的某个点位转化为现实世界的三维坐标， 此坐标即为机械臂要放置试管盒的坐标。 如果标定结果不理想， 为避免出现放置误差， 应当重新标定。 0065 具体地， 参照图2， 对于相机获取的二维图像， 进行如下的处理： 0066 1)图像预处理 0067 该算法首先从与相机的通信获取图片， 获取到图片后首先将图片转化为灰度图 说明书 4/6 页 7 CN 112102289 A 7 像， 然后使用线性滤波降噪去除噪点。

25、影响， 再使用形态学的腐蚀操作对图像进行预处理， 腐 蚀操作为对图像的高亮部分进行扩张， 使白色部分扩大， 易于后续处理以便于后续处理。 0068 具体方式为首先获取结构元素， 使用矩形卷积和与Size(7,7)的大小构造结构元 素， 再执行腐蚀操作。 0069 2)图像的阈值操作 0070 通过阈值操作将图像转化成一个比较恰当的二值图像， 使用阈值操作可以将图像 转化为只有黑色和白色的图像， 黑白之间的边缘通过阈值确定， 阈值的范围为0255， 经过 反复调试， 确定一个适合具体安装环境的阈值。 0071 程序中留有预览界面， 可以人为调整阈值直至适合， 调整无误后该值的大小一般 不再轻易变。

26、化。 0072 可以使用一个可对阈值进行动态调整的trackBar模块对图像的阈值进行实时调 整， 以确定本发明使用的阈值的准确数值。 0073 具体操作方法为： 先使用一个任意初始阈值作为缺省阈值， 再使用步骤3)中的算 法确定图像点位， 并将检测情况打印至屏幕， 使用trackBar模块调整阈值数值， 反复调试以 获得最佳阈值。 0074 3)图像点位的确定 0075 使用ADP算法寻找最小矩形， 确定检测到的矩形轮廓， 得到确定矩形的一系列坐标 点， 即获取到白色卡片所在位置。 在OpenCV中， 可以使用cv:approxPolyDP()函数， 该函数 采用是道格拉斯-普克算法(Dou。

27、glas-Peucker)来实现， 过程是已知的。 该算法可以将曲线 近似表示为一系列点， 并减少点的数量。 0076 对于一个离心臂而言， 在其试管盒放置位置的左右两侧支撑臂上各有一个白色卡 片， 两个白色卡片的中心位置的连线的中点即对应试管盒放置位置正上方的二维位置， 在 实现时可以通过简单计算取得此坐标。 通过标定取得的坐标变换关系可将获取的图像二维 坐标转化为现实世界的三维坐标， 即将其转化为机械臂可以识别的坐标形式， 最后通过 socket通信传入机械臂中。 0077 (3)机械臂抓取试管至试管盒 0078 相机标定获得理想结果之后， 使用机械臂附带的示教器启动抓取程序， 机械臂开 。

28、始工作。 抓取程序内容如下： 首先将机械臂移动至试管架中的某一试管的抓取高度， 打开气 泵， 使气压推动抓具抓住试管。 机械臂携带试管移动至试管盒位置， 将试管平稳地放在试管 盒的一个插槽处。 重复这个操作直到试管盒的全部插槽都被插满。 0079 (4)获取图像并执行基于标准点位置的点位确定算法 0080 启动图像处理程序， 计算机执行基于标准点位置的点位确定算法， 将图像中获得 的平面上的二维坐标通过坐标变换获得机械臂的点位， 并将点位传给机械臂。 机械臂程序 监听图像处理程序传回的点位信息， 如果因为环境设置异常等原因导致无法获取准确点位 信息， 应当停止作业并检查， 防止危险发生。 00。

29、81 (5)机械臂工作 0082 如点位信息获取无误， 机械臂便按照既定的抓取和放置逻辑开始工作。 机械臂程 序控制机械臂抓取试管盒至离心机对应点位， 并平稳放下。 重复此操作， 直到全部的试管盒 都被放置完成。 此后使用机械臂关闭离心机盖， 按下启动开关， 离心机开始工作。 说明书 5/6 页 8 CN 112102289 A 8 0083 上述虽然结合附图对本发明的具体实施方式进行了描述， 但并非对本发明保护范 围的限制， 所属领域技术人员应该明白， 在本发明的技术方案的基础上， 本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。 说明书 6/6 页 9 CN 112102289 A 9 图1 说明书附图 1/4 页 10 CN 112102289 A 10 图2 说明书附图 2/4 页 11 CN 112102289 A 11 图3 说明书附图 3/4 页 12 CN 112102289 A 12 图4 说明书附图 4/4 页 13 CN 112102289 A 13 。