基于强化学习的数字微流控生物芯片的故障在线检测方法.pdf

《基于强化学习的数字微流控生物芯片的故障在线检测方法.pdf》由会员分享，可在线阅读，更多相关《基于强化学习的数字微流控生物芯片的故障在线检测方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911345860.8 (22)申请日 2019.12.24 (71)申请人 桂林电子科技大学 地址 541004 广西壮族自治区桂林市七星 区金鸡路1号 (72)发明人 许川佩曾莹黄喜军莫玮 胡聪朱爱军陈涛 (74)专利代理机构 北京中济纬天专利代理有限 公司 11429 代理人 石燕妮 (51)Int.Cl. G01N 35/00(2006.01) (54)发明名称 基于强化学习的数字微流控生物芯片的故 障在线检测方法 (57)摘要 本发明公开了一种基于强化学习的数字微。

2、 流控生物芯片的故障在线检测方法， 包括基于栅 格法、 图论中的无向图方法和芯片约束条件， 建 立数字微流控芯片的数学模型； 获取设定的基于 强化学习算法的初始参数、 算法迭代的目标次数 Max、 信息共享时间Tx， 建立每个测试液滴相应的 Q表； 基于强化学习算法的更新规则函数、 贪婪函 数以及禁忌矩阵选择测试液滴的下一个电极； 基 于判断条件， 输出目标测试时间和测试液滴的目 标路径。 通过多液滴并行在线测试， 提高测试液 滴的利用率， 减少测试液滴的能耗问题， 使得测 试液滴在较短的时间内， 优化测试路径， 完成芯 片的故障检测， 保障数字微流控芯片的可靠性。 权利要求书2页 说明书6页。

3、 附图3页 CN 111141920 A 2020.05.12 CN 111141920 A 1.一种基于强化学习的数字微流控生物芯片的故障在线检测方法， 其特征在于， 包括： 基于栅格法、 图论中的无向图方法和芯片约束条件， 建立数字微流控芯片的数学模型； 其中， 所述约束条件为静态约束条件、 动态约束条件和禁忌约束条件； 获取设定的基于强化学习算法的初始参数、 算法迭代的目标次数Max、 信息共享时间 Tx， 建立每个测试液滴相应的Q表； 其中， 所述初始参数包括学习率 、 奖励r、 衰减率和择 优概率参数 ； 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选择测试液滴的下一个电 。

4、极； 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述判断条件包括判断多 个测试液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和判断迭代次数是否达 到目标次数Max。 2.如权利要求1所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 基于栅格法、 图论中的无向图方法和芯片约束条件， 建立数字微流控芯片的数学 模型， 具体包括： 获取mn个电极单元和电极间的相邻边标定为无向图G中的点V和边E； 对mn个电极单元和电极间的相邻边按照从小到大的顺序进行赋值编号， 则编号i的 阵列单元与对应坐标(xi,yi)之间的关系为： im(yi-1)+xi； 其中。

5、， m为芯片阵列的总行数， n为芯片阵列的总列数； 以左上角为原点， 水平往右方向为x轴， 竖直向下方向为y轴建立直角坐标系。 3.如权利要求1所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 所述静态约束条件为在同一时刻内， 两个液滴的横坐标之差的绝对值大于或等 于二或两个液滴的纵坐标之差的绝对值大于或等于二。 4.如权利要求3所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 所述动态约束条件为两个液滴在下一时刻的移动电极不相邻， 两个液滴在时间 差为1的时刻下横坐标之差的绝对值大于或等于二或两个液滴的纵坐标之差的绝对值大于 或等于二。 5。

6、.如权利要求4所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 所述禁忌约束条件为当前测试液滴处于禁忌矩阵的单元编号外， 所述禁忌矩阵 为T(i)i+n， i+n-1， i+n+1， i-n， i-n+1， i-n-1， i+1， i-1。 6.如权利要求1所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选择测试液滴的下 一个电极； 其中， 所述更新规则函数为： Q(i， a)Q(i， a)+ r+maxQ(i,a)-Q(i， a)； 其中a为测试液滴采取的动作， 所述动作包括上移、 下。

7、移、 左移、 右移四个动作， i为阵列 单元编号， 为测试液滴的学习率， 0， r为奖励， 为衰减率， 0,1。 7.如权利要求6所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选择测试液滴的下 一个电极； 其中， 所述贪婪函数为： 权利要求书 1/2 页 2 CN 111141920 A 2 *(it)argmaxQ(it， at)。 8.如权利要求1所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述判断条件包括判 断多个测试。

8、液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和判断迭代次数是 否达到目标次数Max； 其中， 所述判断多个测试液滴是否发生冲突， 包括： 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测试液 滴的下一个电极； 若是， 则基于轮盘赌方法给多个测试液滴分配优先级， 在0,1区间内随机生成伪随机 数z， 伪随机数z落入目标测试液滴的概率之间， 则选择目标测试液滴去测试引起冲突的电 极。 9.如权利要求8所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述判断条件包括判 断多个测试。

9、液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和判断迭代次数是 否达到目标次数Max； 其中， 所述判断测试时间是否达到信息共享时间Tx， 包括： 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测试液 滴的下一个电极； 若是， 则共享所有测试液滴在同一阵列单元和选择同一动作时获得奖励值的Q值。 10.如权利要求9所述的基于强化学习的数字微流控生物芯片的故障在线检测方法， 其 特征在于， 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述判断条件包括判 断多个测试液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和判断迭代次数是 否达到目标次数。

10、Max； 其中， 所述判断迭代次数是否达到目标次数Max， 包括： 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测试液 滴的下一个电极； 若是， 则输出各个测试液滴的操作序列图， 比较每个测试液滴的测试时间， 输出测试时 间升序排列在前的第一测试时间为目标测试时间， 得到测试液滴的目标路径。 权利要求书 2/2 页 3 CN 111141920 A 3 基于强化学习的数字微流控生物芯片的故障在线检测方法 技术领域 0001 本发明涉及数字微流控生物芯片的故障检测技术领域， 尤其涉及一种基于强化学 习的数字微流控生物芯片的故障在线检测方法。 背景技术 0002 随着科。

11、技的发展， 微流控生物芯片已在微电子学、 生物化学和生物医学的许多领 域上应用， 其中包括药物发现、 高通量DNA测序、 环境毒性监测替代传统的实验室实验等。 微 流控芯片(microfluidics biochip)能在一块极其微型的芯片上实现传统实验室的取样、 分离、 检测等功能， 因而又被称为芯片实验室(Lab-on-a-chip)。 第一代微流控生物芯片包 括永久蚀刻的微型泵， 微型阀和微型通道玻璃或塑料或其他聚合物， 其驱动基于连续流体 流动的原理。 但是， 连续流体微流控芯片虽可完成很多生化实验， 但无法对液滴进行精准灵 活的控制， 难于满足要求更高更复杂的实验需求。 0003 数。

12、字微流控芯片与连续流体微流控芯片相比， 液滴是离散且相对独立的。 典型的 数字微流控生物芯片包括二维控制电极阵列单元、 外围设备(例如分配端口， 光学检测器， 集成逻辑和周围的控制引脚)组成。 通过改变引脚控制电压， 生化实验试剂液滴就可以在电 润湿的作用下在电极阵列上移动。 为了精确控制液滴的运动， 将电极连接到控制引脚以实 现输入信号。 0004 随着技术的不断革新和发展， 为了满足越来越复杂的生化实验系统的高可靠性要 求， 对数字微流控芯片故障检测的研究也尤为重要。 因此， 为提高空闲电极阵列单元的利用 率， 在生化实验进行过程中用多个测试液滴对芯片并行进行测试， 在保证阵列单元覆盖率 。

13、的前提下， 最大程度的缩短故障检测时间， 保障数字微流控芯片的可靠性的问题亟待解决。 发明内容 0005 本发明的目的在于提供一种基于强化学习的数字微流控生物芯片的故障在线检 测方法， 通过多液滴并行在线测试， 提高测试液滴的利用率， 减少测试液滴的能耗问题， 使 得测试液滴在较短的时间内， 优化测试路径， 完成芯片的故障检测， 保障数字微流控芯片的 可靠性。 0006 为实现上述目的， 本发明提供了一种基于强化学习的数字微流控生物芯片的故障 在线检测方法， 包括： 0007 基于栅格法、 图论中的无向图方法和芯片约束条件， 建立数字微流控芯片的数学 模型； 其中， 所述约束条件为静态约束条件。

14、、 动态约束条件和禁忌约束条件； 0008 获取设定的基于强化学习算法的初始参数、 算法迭代的目标次数Max、 信息共享时 间Tx， 建立每个测试液滴相应的Q表； 其中， 所述初始参数包括学习率 、 奖励r、 衰减率和 择优概率参数 ； 0009 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选择测试液滴的下一 个电极； 说明书 1/6 页 4 CN 111141920 A 4 0010 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述判断条件包括判 断多个测试液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和判断迭代次数是 否达到目标次数Max。 0011 在一实。

15、施方式中， 基于栅格法、 图论中的无向图方法和芯片约束条件， 建立数字微 流控芯片的数学模型， 具体包括： 0012 获取mn个电极单元和电极间的相邻边标定为无向图G中的点V和边E； 0013 对mn个电极单元和电极间的相邻边按照从小到大的顺序进行赋值编号， 则编号 i的阵列单元与对应坐标(xi,yi)之间的关系为： 0014 im(yi-1)+xi； 0015 其中， m为芯片阵列的总行数， n为芯片阵列的总列数； 0016 以左上角为原点， 水平往右方向为x轴， 竖直向下方向为y轴建立直角坐标系。 0017 在一实施方式中， 所述静态约束条件为在同一时刻内， 两个液滴的横坐标之差的 绝对值。

16、大于或等于二或两个液滴的纵坐标之差的绝对值大于或等于二。 0018 在一实施方式中， 所述动态约束条件为两个液滴在下一时刻的移动电极不相邻， 两个液滴在时间差为1的时刻下横坐标之差的绝对值大于或等于二或两个液滴在时间差为 1的时刻下纵坐标之差的绝对值大于或等于二。 0019 在一实施方式中， 所述禁忌约束条件为当前测试液滴处于禁忌矩阵的单元编号 外， 所述禁忌矩阵为T(i)i+n， i+n-1， i+n+1， i-n， i-n+1， i-n-1， i+1， i-1。 0020 在一实施方式中， 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选 择测试液滴的下一个电极； 其中， 所述更新。

17、规则函数为： 0021 Q(i， a)Q(i， a)+ r+maxQ(i,a)-Q(i， a)； 0022 其中a为测试液滴采取的动作， 所述动作包括上移、 下移、 左移、 右移四个动作， i为 阵列单元编号， 为测试液滴的学习率， 0， r为奖励， 为衰减率， 0,1。 0023 在一实施方式中， 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选 择测试液滴的下一个电极； 其中， 所述贪婪函数为： 0024 *(it)argmaxQ(it， at)。 0025 在一实施方式中， 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述 判断条件包括判断多个测试液滴是否发生冲突、 。

18、判断测试时间是否达到信息共享时间Tx和 判断迭代次数是否达到目标次数Max； 其中， 所述判断多个测试液滴是否发生冲突， 包括： 0026 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测 试液滴的下一个电极； 0027 若是， 则基于轮盘赌方法给多个测试液滴分配优先级， 在0,1区间内随机生成伪 随机数z， 伪随机数z落入目标测试液滴的概率之间， 则选择目标测试液滴去测试引起冲突 的电极。 0028 在一实施方式中， 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述 判断条件包括判断多个测试液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和 判断。

19、迭代次数是否达到目标次数Max； 其中， 所述判断测试时间是否达到信息共享时间Tx， 包括： 0029 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测 说明书 2/6 页 5 CN 111141920 A 5 试液滴的下一个电极； 0030 若是， 则共享所有测试液滴在同一阵列单元和选择同一动作时获得奖励值的Q值。 0031 在一实施方式中， 基于判断条件， 输出目标测试时间和测试液滴的目标路径， 所述 判断条件包括判断多个测试液滴是否发生冲突、 判断测试时间是否达到信息共享时间Tx和 判断迭代次数是否达到目标次数Max； 其中， 所述判断迭代次数是否达到目标次数M。

20、ax， 包 括： 0032 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测 试液滴的下一个电极； 0033 若是， 则输出各个测试液滴的操作序列图， 比较每个测试液滴的测试时间， 输出测 试时间升序排列在前的第一测试时间为目标测试时间， 得到测试液滴的目标路径。 0034 本发明的一种基于强化学习的数字微流控生物芯片的故障在线检测方法， 通过基 于栅格法、 图论中的无向图方法和芯片约束条件， 建立数字微流控芯片的数学模型； 获取设 定的基于强化学习算法的初始参数、 算法迭代的目标次数Max、 信息共享时间Tx， 建立每个 测试液滴相应的Q表； 基于强化学习算法的更新。

21、规则函数、 贪婪函数以及禁忌矩阵选择测试 液滴的下一个电极； 基于判断条件， 输出目标测试时间和测试液滴的目标路径。 通过多液滴 并行在线测试， 提高测试液滴的利用率， 减少测试液滴的能耗问题， 使得测试液滴在较短的 时间内， 优化测试路径， 完成芯片的故障检测， 保障数字微流控芯片的可靠性。 附图说明 0035 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图获得其他的附图。 0036。

22、 图1是本发明实施例提供的一种基于强化学习的数字微流控生物芯片的故障在线 检测方法的流程示意图； 0037 图2是本发明实施例步骤S104的具体流程示意图； 0038 图3是本发明实施例的芯片模型转换图； 0039 图4是本发明实施例静态约束和动态约束的示例图； 0040 图5是本发明实施例的强化学习的更新流程示意图。 具体实施方式 0041 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述。 0042 请参阅图1， 图1是本发明实施例提供的一种基于强化学习的数字微流控生物芯片 的故障在线检测方法的流程示意图。 具体的， 所述基于强化学习的数字微流控生物芯片。

23、的 故障在线检测方法可以包括以下步骤： 0043 S101、 基于栅格法、 图论中的无向图方法和芯片约束条件， 建立数字微流控芯片的 数学模型。 0044 本发明实施例中， 所述栅格法是将工作环境进行单元分割， 将其用大小相等的方 说明书 3/6 页 6 CN 111141920 A 6 块表示出来。 将电极标定为一格一格的小栅格， 实验液滴和测试液滴在芯片上移动。 无向图 的边是没有方向的， 即两个相连的顶点可以互相抵达。 获取mn个电极单元和电极间的相 邻边标定为无向图G中的点V和边E； 将对芯片的测试路径规划问题， 转化成对无向图G(V， E) 的路径的寻优问题。 为了更便于分析路径寻优。

24、问题， 本发明结合坐标法和赋值法， 对电极单 元以及电极间的边采用十进制编码， 对mn个电极单元和电极间的相邻边按照从小到大的 顺序进行赋值编号， 则编号i的阵列单元与对应坐标(xi,yi)之间的关系为： 0045 im(yi-1)+xi； 0046 其中， m为芯片阵列的总行数， n为芯片阵列的总列数； 0047 以左上角为原点， 水平往右方向为x轴， 竖直向下方向为y轴建立直角坐标系。 请参 阅图3， 以3*3芯片阵列单元为例， 为阵列单元和相邻边编号。 0048 分析液滴的流体运动， 当芯片上存在多个实验液滴和测试液滴时， 为了防止液滴 与液滴之间发生无法逆转的意外融合， 多个液滴之间需。

25、要满足约束条件， 所述约束条件为 静态约束条件、 动态约束条件和禁忌约束条件； 请参阅图4， 所述静态约束条件为在同一时 刻内， 两个液滴的横坐标之差的绝对值大于或等于二或两个液滴的纵坐标之差的绝对值大 于或等于二。 两个液滴的坐标分别为(X1t,Y1t)、 (X2t,Y2t)， 即在同一时刻t内， 两个液滴之 间不能相邻， |X1t-X2t|2或|Y1t-Y2t|2。 所述动态约束条件为液滴1在下一时刻的移动 电极不能与液滴2相邻， 两个液滴在时间差为1的时刻下横坐标之差的绝对值大于或等于二 或两个液滴的纵坐标之差的绝对值大于或等于二， 即液滴的下一时刻不能与其他液滴相 邻， |X1t+1-。

26、X2t|2或|Y1t+1-Y2t|2或|X2t+1-X1t|2或|Y2t+1-Y1t|2。 当液滴与液滴之间 处在相邻位置时， 不仅仅是水平方向和垂直方向， 斜对角方向也会发生融合， 根据芯片的实 验液滴操作的先后顺序， 确定实验液滴的实验路径， 即得到数字微流控芯片的操作电极序 列图， 将实验液滴的每一时刻的邻域的电极编号加入禁忌矩阵内， 矩阵内的数字为测试液 滴在当前时刻不能访问的电极。 因此所述禁忌约束条件为当前测试液滴处于禁忌矩阵的单 元编号外， 即为当前测试液滴不能访问的边的集合， 所述禁忌矩阵为T(i)i+n， i+n-1， i+n +1， i-n， i-n+1， i-n-1， i。

27、+1， i-1。 集合T(i)内的阵列单元编号包括实验液滴所在的单元编 号以及实验液滴周围的相邻电极单元编号， 根据实验液滴的操作路径， 实时更新。 0049 S102、 获取设定的基于强化学习算法的初始参数、 算法迭代的目标次数Max、 信息 共享时间Tx， 建立每个测试液滴相应的Q表。 0050 本发明实施例中， 所述强化学习算法， 又称再励学习、 评价学习或增强学习， 用于 描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现 特定目标的问题。 所述初始参数包括学习率 、 奖励r、 衰减率和择优概率参数 ； Q表是为 每一状态上进行的每一动作计算出最大的未。

28、来奖励的期望， 通过Q表， 可以知道在每一个状 态下采取的最佳动作， 如左移、 右移、 上移、 下移。 每个单元格的值代表给定状态和相应动作 的最大未来奖励期望。 0051 S103、 基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵选择测试液滴 的下一个电极。 0052 本发明实施例中， 请参阅图5， 是本发明实施例的强化学习的更新流程示意图。 结 合强化学习与轮盘赌方法的特点， 帮助测试液滴找出一条从起点到终点获得最大累积奖励 的最佳策略， 使得测试液滴在检测芯片故障时， 能够更高效的对各个阵列单元完成故障检 说明书 4/6 页 7 CN 111141920 A 7 测。 本发明提出。

29、的强化学习算法的主要是建立一个Q表来存储Q值， 按照贪婪函数选择测试 液滴在当前阵列单元内Q值最大所对应的动作， 在测试中通过不断去跳转Q表中的值， 来学 习到最佳路径。 所述更新规则函数为： 0053 Q(i， a)Q(i， a)+ r+maxQ(i,a)-Q(i， a)； 0054 其中a为测试液滴采取的动作， 所述动作包括上移、 下移、 左移、 右移四个动作， i为 阵列单元编号， 为测试液滴的学习率， 0， r为奖励， 为衰减率， 0,1。 0055 所述贪婪函数为： 0056 *(it)argmaxQ(it， at)。 0057 测试液滴的每一步动作以一定的概率 (0 1)选择具有最。

30、大奖励rmax对应的动 作， 以(1- )的概率随机选择动作， 使测试液滴尽可能覆盖所有的阵列单元， 接着再按照Q学 习的所述更新规则函数更新Q值充实Q表。 0058 S104、 基于判断条件， 输出目标测试时间和测试液滴的目标路径。 0059 本发明实施例中， 请参阅图2， 所述判断条件包括判断多个测试液滴是否发生冲 突、 判断测试时间是否达到信息共享时间Tx和判断迭代次数是否达到目标次数Max。 在Q表 更新的同时， 当遇到冲突问题时， 所述判断多个测试液滴是否发生冲突， 包括： 0060 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测 试液滴的下一个电极； 0。

31、061 若是， 则基于轮盘赌方法给多个测试液滴分配优先级， 在0,1区间内随机生成伪 随机数z， 伪随机数z落入目标测试液滴的概率之间， 则选择目标测试液滴去测试引起冲突 的电极。 所述轮盘赌方法， 又称为比例选择算法， 其内容为各个个体被选中的概率与其适应 度函数值大小成正比。 0062 首先计算每个测试液滴的概率公式为： 0063 0064 测试液滴的累积概率公式为： 0065 0066 若zq1， 则选择编号为1的测试液滴， 否则， 选择编号为k的测试液滴， 使得： q k-1zqk。 0067 所述判断测试时间是否达到信息共享时间Tx， 包括： 0068 若否， 则基于强化学习算法的更。

32、新规则函数、 贪婪函数以及禁忌矩阵重新选择测 试液滴的下一个电极； 0069 若是， 则共享所有测试液滴在同一阵列单元和选择同一动作时获得奖励值的Q值。 多个测试液滴的信息共享， 使得测试液滴能有效的探索更多的阵列单元， 避免陷入局部最 优， 其定义为： 0070 0071 所述判断迭代次数是否达到目标次数Max， 包括： 说明书 5/6 页 8 CN 111141920 A 8 0072 若否， 则基于强化学习算法的更新规则函数、 贪婪函数以及禁忌矩阵重新选择测 试液滴的下一个电极； 0073 若是， 则输出各个测试液滴的操作序列图， 比较每个测试液滴的测试时间， 输出测 试时间升序排列在前。

33、的第一测试时间为目标测试时间， 得到测试液滴的目标路径。 0074 本发明的基于强化学习的数字微流控生物芯片的故障在线检测方法， 首先建立数 字微流控芯片的数学模型， 采用十进制对模型中的点V和边E进行编码， 结合强化学习算法 与轮盘赌方法进行路径规划， 采用多液滴并行在线测试的方式， 在液滴的静态约束、 动态约 束和实验液滴的禁忌约束下， 实现对各个电极阵列单元的故障检测。 通过多液滴并行在线 测试， 提高测试液滴的利用率， 减少测试液滴的能耗问题， 使得测试液滴在较短的时间内， 优化测试路径， 完成芯片的故障检测。 0075 需要说明的是， 对于前述的各个方法实施例， 为了简单描述， 故将。

34、其都表述为一系 列的动作组合， 但是本领域技术人员应该知悉， 本发明并不受所描述的动作顺序的限制， 因 为依据本发明， 某一些步骤可以采用其他顺序或者同时进行。 其次， 本领域技术人员也应该 知悉， 说明书中所描述的实施例均属于优选实施例， 所涉及的动作和模块并不一定是本发 明所必须的。 0076 以上所揭露的仅为本发明部分实施例而已， 当然不能以此来限定本发明之权利范 围， 因此依本发明权利要求所作的等同变化， 仍属本发明所涵盖的范围。 说明书 6/6 页 9 CN 111141920 A 9 图1 说明书附图 1/3 页 10 CN 111141920 A 10 图2 图3 说明书附图 2/3 页 11 CN 111141920 A 11 图4 图5 说明书附图 3/3 页 12 CN 111141920 A 12 。