面向超声显微镜的分辨率增强方法.pdf

《面向超声显微镜的分辨率增强方法.pdf》由会员分享，可在线阅读，更多相关《面向超声显微镜的分辨率增强方法.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010785514.8 (22)申请日 2020.08.06 (66)本国优先权数据 202010768107.6 2020.08.03 CN (71)申请人 中国科学院大学 地址 100049 北京市石景山区玉泉路 （甲） 19号 (72)发明人 梁昊吕科薛健 (74)专利代理机构 北京知呱呱知识产权代理有 限公司 11577 代理人 康震 (51)Int.Cl. G01N 29/06(2006.01) G01N 29/44(2006.01) G06F 17/14(200。

2、6.01) (54)发明名称 一种面向超声显微镜的分辨率增强方法 (57)摘要 本发明公开了一种面向超声显微镜的分辨 率增强方法， 先获得试件的超声层析扫描数据； 采用离散小波分解对每一点的超声信号进行多 尺度分析， 生成低频分量和高频分量； 使用维纳 反卷积滤波器处理低频分量， 对叠加后的信号进 行分离； 使用分离后的信号和高频分量进行离散 小波反变换， 重建超声层析扫描数据； 使用重建 的超声层析扫描数据生成试件内部更高分辨率 的垂直剖面与水平剖面扫描图像。 本发明解决了 现有超声显微镜成像分辨率难以提升的问题。 权利要求书1页 说明书6页 附图8页 CN 112114045 A 2020。

3、.12.22 CN 112114045 A 1.一种面向超声显微镜的分辨率增强方法， 其特征在于， 所述方法为： 步骤1、 设置参数获得试件的超声层析扫描结果； 步骤2、 采用离散小波分解对每一点的超声信号进行多尺度分析， 生成低频分量和高频 分量； 步骤3、 使用维纳反卷积滤波器处理低频分量， 对叠加后的信号进行分离； 步骤4、 将分离后的信号和高频分量进行离散小波反变换， 重建超声层析扫描数据； 步骤5、 使用重建的超声层析扫描数据生成试件内部更高分辨率的垂直剖面与水平剖 面图像。 2.如权利要求1所述的一种面向超声显微镜的分辨率增强方法， 其特征在于， 所述步骤 1中， 层析扫描数据中包。

4、含水平面上每一个点完整的回波信号。 3.如权利要求2所述的一种面向超声显微镜的分辨率增强方法， 其特征在于， 所述步骤 1中， 回波信号是由被检测件内部多层结构的复杂反射波组成， 超声信号的反射率r(t)是超 声波扫描显微镜的脉冲响应函数， Z1和Z2分别为水和试件的声阻抗， 对于多层复杂结构的试件， 其回波信号的模型可表述 为： 式中， n(t)为噪声； *表示卷积， x(t)为入射信号， 如果不考虑噪声， y(t)就可以看作是x (t)和r(t)的卷积。 4.如权利要求1所述的一种面向超声显微镜的分辨率增强方法， 其特征在于， 所述步骤 2中， 采用离散小波分解对超声信号进行多尺度分析， 。

5、离散小波变换可以利用子波段滤波将 信号分解为不同的频段。 5.如权利要求1所述的一种面向超声显微镜的分辨率增强方法， 其特征在于， 所述步骤 3中， 维纳反卷积是一种广泛应用于信号和图像处理的反卷积方法， 表示为： 式中， R()和Y()分别是r(t)和y(t)的傅里叶变换， X()为入射信号x(t)的能量密 度谱， Q为噪声阻滞因子。 6.如权利要求1所述的一种面向超声显微镜的分辨率增强方法， 其特征在于， 所述步骤 5中， 维纳反卷积处理后的数据和离散小波分解后的高频分量， 通过小波逆变换进行重组， 重建出完整的射频信号， 在此过程中， 使用软阈值对超声信号进行了滤波处理， 进一步降低 噪。

6、音的影响。 权利要求书 1/1 页 2 CN 112114045 A 2 一种面向超声显微镜的分辨率增强方法 技术领域 0001 本发明涉及声学技术与无损检测技术领域， 具体涉及一种面向超声显微镜 的分 辨率增强方法。 背景技术 0002 超声显微镜是芯片制造、 生物医药、 材料科学以及航空航天等高新制造行 业中被 广泛采用的无损检测与显微成像设备。 超声显微镜(如附图1)普遍采 用液浸式点聚焦超声 换能器(如附图2)， 该换能器可使声束汇聚于一点， 这 样汇聚区的能量集中加强， 声束宽度 变小， 可满足高灵敏度、 高分辨率的检测 要求。 随着芯片制造工艺的不断进步， 芯片内部分 层厚度已经低。

7、于了声学信号 的波长， 例如附图3所示， 来自于不同分层结构的信号出现了 叠加。 信号的叠 加， 必然会影响垂直剖面和水平剖面的成像分辨率。 通过提高超声信号的 频率， 可以使波长更短， 分辨率更高， 但高频换能器穿透能力低、 使用和维护成本高、 操作 难度大。 因此， 在大多数的高新制造行业的无损检测领域并没有大量使用 频率高于500MHz 的超声换能器。 目前， 工业无损检测领域， 超声显微镜普遍 采用的超声换能器频率主要分 布在15-400MHz。 而且， 由于声学信号衍射极 限的限制， 超声换能器在高于2GHz的频率以后 无法通过持续提高频率来提升 分辨率。 如何提升超声显微镜的分辨率。

8、， 成为了声学显微镜 应用与推广的关键 环节。 发明内容 0003 为此， 本发明提供一种面向超声显微镜的分辨率增强方法， 以解决现有 超声显微 镜成像分辨率难以提升的问题。 0004 为了实现上述目的， 本发明提供如下技术方案： 0005 本发明的公开了一种面向超声显微镜的分辨率增强方法， 所述方法为： 0006 步骤1、 设置参数获得试件的超声层析扫描结果； 0007 步骤2、 采用离散小波分解对每一点的超声信号进行多尺度分析， 生成低 频分量 和高频分量； 0008 步骤3、 使用维纳反卷积滤波器处理低频分量， 对叠加后的信号进行分离； 0009 步骤4、 将分离后的信号和高频分量进行离。

9、散小波反变换， 重建超声层析 扫描数 据； 0010 步骤5、 使用重建的超声层析扫描数据生成试件内部更高分辨率的垂直剖 面与水 平剖面图像。 0011 进一步地， 所述步骤1中， 层析扫描数据中包含水平面上每一个点完整的 回波信 号。 0012 进一步地， 所述步骤1中， 回波信号是由被检测件内部多层结构的复杂反 射波组 成， 超声信号的反射率r(t)是超声波扫描显微镜的脉冲响应函数， 说明书 1/6 页 3 CN 112114045 A 3 0013 0014 Z1和Z2分别为水和试件的声阻抗， 对于多层复杂结构的试件， 其回波信号 的模型 可表述为： 0015 0016 式中， n(t)。

10、为噪声； *表示卷积， x(t)为入射信号。 如果不考虑噪声， y(t)就 可以看 作是x(t)和r(t)的卷积。 0017 进一步地， 所述步骤2中， 采用离散小波分解对超声信号进行多尺度分析， 离散小 波变换可以利用子波段滤波将信号分解为不同的频段。 0018 进一步地， 所述步骤3中， 维纳反卷积是一种广泛应用于信号和图像处理 的反卷 积方法， 表示为： 0019 0020 式中， R()和Y()分别是r(t)和y(t)的傅里叶变换， X()为入射信号x(t)的能 量密度谱， Q为噪声阻滞因子。 0021 进一步地， 所述步骤5中， 维纳反卷积处理后的数据和离散小波分解后的 高频分 量，。

11、 通过小波逆变换进行重组， 重建出完整的射频信号， 在此过程中， 使用软阈值对超声信 号进行了滤波处理， 进一步降低噪音的影响。 0022 本发明具有如下优点： 0023 本发明公开了一种面向超声显微镜的分辨率增强方法， 获得试件的超声层 析扫 描数据； 采用离散小波分解对每一点的超声信号进行多尺度分析， 生成低 频分量和高频分 量； 使用维纳反卷积滤波器处理低频分量， 对叠加后的信号进 行分离； 使用分离后的信号 和高频分量进行离散小波反变换， 重建超声层析扫 描数据； 使用重建的超声层析扫描数据 生成更高分辨率的垂直剖面与水平剖面 图像。 可以在不提高换能器频率的情况下， 有效提 高超声显。

12、微镜的图像分辨率 和对比度， 为图像带来更多的细节信息， 与更高频率的超声换 能器的扫描图像 更加接近。 附图说明 0024 为了更清楚地说明本发明的实施方式或现有技术中的技术方案， 下面将对 实施 方式或现有技术描述中所需要使用的附图作简单地介绍。 显而易见地， 下 面描述中的附图 仅仅是示例性的， 对于本领域普通技术人员来讲， 在不付出创 造性劳动的前提下， 还可以 根据提供的附图引申获得其它的实施附图。 0025 本说明书所绘示的结构、 比例、 大小等， 均仅用以配合说明书所揭示的内 容， 以供 熟悉此技术的人士了解与阅读， 并非用以限定本发明可实施的限定条 件， 故不具技术上的 实质意。

13、义， 任何结构的修饰、 比例关系的改变或大小的调 整， 在不影响本发明所能产生的 功效及所能达成的目的下， 均应仍落在本发明 所揭示的技术内容得能涵盖的范围内。 0026 图1为本发明实施例提供的超声显微镜原理图； 说明书 2/6 页 4 CN 112114045 A 4 0027 图2为本发明实施例提供的点聚焦超声换能器聚焦原理图； 0028 图3为本发明实施例提供的倒装芯片的回波信号示意图； 0029 图4为本发明实施例提供的超声显微镜的层析扫描数据； 0030 图5为本发明实施例提供的离散小波分解原理图； 0031 图6为本发明实施例提供的塑封芯片分层信息解析图； 0032 图7为本发明。

14、实施例提供的倒装芯片分层信息解析图； 0033 图8为本发明实施例提供的水平剖面原始图像与重建图像的整体对比图； 0034 图9为本发明实施例提供的水平剖面原始图像与重建图像的放大对比图； 0035 图10为本发明实施例提供的垂直剖面原始图像与重建图像的对比图。 0036 图11为本发明实施例提供的一种面向超声显微镜的分辨率增强方法整体 流程示 意图。 具体实施方式 0037 以下由特定的具体实施例说明本发明的实施方式， 熟悉此技术的人士可由 本说 明书所揭露的内容轻易地了解本发明的其他优点及功效， 显然， 所描述的 实施例是本发明 一部分实施例， 而不是全部的实施例。 基于本发明中的实施例，。

15、 本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 0038 实施例 0039 本实施例公开了一种面向超声显微镜的分辨率增强方法， 所述方法为： 0040 步骤1、 设置参数获得试件的超声层析扫描结果； 0041 步骤2、 采用离散小波分解对每一点的超声信号进行多尺度分析， 生成低 频分量 和高频分量； 0042 步骤3、 使用维纳反卷积滤波器处理低频分量， 对叠加后的信号进行分离； 0043 步骤4、 将分离后的信号和高频分量进行离散小波反变换， 重建超声层析 扫描数 据； 0044 步骤5、 使用重建的超声层析扫描数据生成更高分辨率的垂直剖面。

16、与水平 剖面图 像。 0045 在步骤1中， 设置参数获得试件的超声层析扫描数据， 其数据结构 如图4所示； 层 析扫描数据不同于普通的垂直剖面图像(即B扫描图像) 和水平剖面图像(即C扫描图像)， ， 垂直剖面和水平剖面图像仅为一张 二维的灰度图像， 但层析扫描数据中则包含了水平面 上每一个点完整的 即回波信号， 如图3所示。 回波信号的射频信号长度即为层析扫描数据 的分层数。 本发明专利所使用的超声显微镜采用了Acquisition AL8xGTe的 高速模拟数字 转换卡， 采样频率1GHz， 精度8bit。 因此本发明专利中的 层析数据的每一层厚度是10-9秒的 声程。 目前的芯片制造工。

17、艺已经来到了 7nm甚至是5nm， 3D封装技术也让芯片的内部结构越 来越复杂。 本实施 例以目前广泛采用的倒装(flip chip)封装芯片的焊接层(solder bond) 为例， 进行说明。 0046 回波信号是由被检测件内部多层结构的复杂反射波所组成的， 超声信号的 反射 率r(t)是超声波扫描显微镜的脉冲响应函数， x(t)是入射信号函数， y(t)是 观测到的回波 信号。 说明书 3/6 页 5 CN 112114045 A 5 0047 0048 Z1和Z2分别为水和试件的声阻抗， 这里以倒装芯片的反射信号进行 说明， 如图7， 令上表面完成对焦后的Z轴坐标位置为坐标原点。 假设。

18、被 检测件共有M层， 回波信号的模型 可以表述为： 0049 0050 式中， n(t)为噪声； *表示卷积， x(t)为入射信号。 如果不考虑噪声， y(t)就 可以看 作是x(t)和r(t)的卷积。 0051 在对复杂多层结构试件进行扫描成像和无损检测时， 特别是芯片这 样的复杂多 层结构， 由于的试件制造工艺， 分层结构的厚度往往低于点 聚焦换能器声学信号的波长， 因此很多情况下会出现信号的叠加， 例如 在倒装芯片的焊接层中如图6， s(t1)、 s(t2)、 s (t3)分别是上表面层、 焊接层、 基板层的回波信号， 当焊接层的厚度大于点聚焦换能器的 波长时， 回波 信号s(t2)和s。

19、(t3)有较好的分离度， 当焊接层的厚度小于点聚焦换能器的波 长时， 回波信号s(t2)和s(t3)出现了相互叠加， 此时无法找到焊接层、 基板 层的回波信号， 因此也无法完成中间层自动对焦。 0052 在步骤2中， 采用离散小波分解对每一点的超声信号进行多尺度分 析， 生成低频 分量和高频分量。 本实施例中采用离散小波分解对超声信 号进行多尺度分析， 离散小波变 换可以利用子波段滤波将信号分解为不 同的频段。 本发明将小波分析与反卷积相结合， 实 现对超声回波信号的 子带分解， 如图5所示。 根据Mallat算法， 信号可以分解为表达式中的 以下两部分： 0053 0054式中，为离散近似，。

20、为离散细节， h0和h1分别为分解低通和高通滤 波系数。 为降低非零系数， 本本实施例选择形状与函数超声信号波形相似的 daubechies、 Coiflet 等小波基函数作为母小波。 它可对信号进行N次分解， 2N为 待分解信号长度。 所分解到的尺 度根据采样点数和噪声大小等实际情况确定， 分解尺度过高会导致时域分辨率降低， 过低 则噪声得不到有效抑制。 在本实施 例中， 分解系数被设置为2-3。 低频带内信号保存了有用 信号的大量信息， 因 此同样选择小波函数为daubechies14， 对进行单支重建， 得到重建 后信号 以作为后续处理的输入信号。 0055 在步骤3中， 使用维纳反卷积。

21、滤波器处理低频分量， 对叠加后的信号进行 分离； 小 波分解之后， 本专利采用维纳反卷积滤波(Wiener)继续对低频带内 的信号进行处理， 维纳 反卷积是一种广泛应用于信号和图像处理的反卷积方 法， 其被表示为： 0056 0057 式中， R()和Y()分别是r(t)和y(t)的傅里叶变换， X()为入射信号x(t) 的 能量密度谱， Q为噪声阻滞因子， 本实施例中Q的值被设置为|X()|2最 大值的1。 传统的 说明书 4/6 页 6 CN 112114045 A 6 维纳反卷积假设入射信号的频率在传播中保持不变。 然而， 回波信号在传播过程中具有较 大的波形失真。 频率和振幅将不断 降。

22、低， 传统的维纳反卷积不适合处理超声波扫描显微镜 的回波信号。 因 此， 首先离散小波对超声波信号进行预处理， 消除传输过程中的信号失 真， 可以提高维纳反卷积的滤波效果， 如图6和图7， 原本叠加在一起的 回波信息可以被较 好的进行分离， 从叠加信号中还原出分层信号。 0058 步骤5中， 使用重建的超声层析扫描数据生成更高分辨率的垂直剖面与水 平剖面 图像。 在上面的步骤中， 只是对叠加后的回波信号进行了分离处理， 为 了提高超声显微镜 的分辨率， 本发明使用维纳反卷积处理后的数据和离散小波 分解后的高频分量， 通过小波 逆变换进行重组， 重建出完整的射频信号。 在此 过程中， 还使用了软。

23、阈值对射频信号进行 了滤波处理， 进一步降低噪音的影响。 0059 0060式中，是高频分量的相位， T为阈值， 定义为： 0061 0062 式中， L是回波信号的长度， 是噪声的标准差， 取值设定在每一级小波 系数的中 值除以0.6745。 在对回波信号进行小波降噪后， 继续使用daubechies14 作为母小波， 在小 波域内来重建估计的估计信号计算过程如下： 0063 0064 式中， g (k-2n)和h (k-2n)分别是高通滤波器和低通滤波器的重建系数， j为 小 波变换的级数， J为小波变化的全部层数， 使用维纳反卷积对高频分量进 行处理后得 到 0065 如图8给出的图像是。

24、原始水平剖面图像(S-scan)和使用本发明进行 处理后的图 像(Reconstructed)图像的整体对比。 对比中， 原始图像和重 建图像使用的超声换能器是 Olympus的V390， 运行在50MHz频率， 参考 图像(Reference)使用的超声换能器是OKOS V30148， 运行在180MHz 获得的图像。 试件是两个倒装芯片， 分别是GPU AMD RV570和FPGA Xilinx XC7Z045。 成像的分辨率都设定在20微米。 从对比中可以看出重建的图 像和参考图 像更为相近， 重建图像具有更高的对比度和分辨率和更多的 细节信息。 在图9的放大对比 中， 可以看到更加明显。

25、的区别， 重建图像 的质量更高， 和参考图像的更加相近， 在P1点附 近， 重建图像包含了更 多的和参考图像中相同的分层信息， 这些信息在原始扫描图像中是 看不 到的。 重建的图像和参考图像在P2和P3点附件相对于原始图像具有更 高相似都。 灰 度值的差异在原始水平剖面图像中几乎不可见。 芯片边缘 附近的P4点和P5点， 重建的图像 与参考图像的细节更加接近， 分辨率 也更高。 这些细节在原始的水平剖面图像中几乎不可 见。 与原始图像相 比， 重建图像在P6点芯片下方的焊点也更加清晰。 在图10的垂直剖面 图 说明书 5/6 页 7 CN 112114045 A 7 像对比中， 也可以看到重建。

26、图像(b)比原始图像(a)更多的分层细 节， 该图的水平分辨率时 20微米， 垂直分辨率为10-9秒的声程， 大约相当 于在垂直方向将试件放大了500倍。 0066 通过以上的对比可以看出， 本实施例可以通过软件算法将叠加的信号进行 分离， 在水平方向和垂直方向提高图像的分辨率， 重建后的图像具有比原始垂 直剖面和水平剖 面图像更高的分辨率和更多的图像细节。 0067 虽然， 上文中已经用一般性说明及具体实施例对本发明作了详尽的描述， 但在本 发明基础上， 可以对之作一些修改或改进， 这对本领域技术人员而言是 显而易见的。 因此， 在不偏离本发明精神的基础上所做的这些修改或改进， 均 属于本发。

27、明要求保护的范围。 说明书 6/6 页 8 CN 112114045 A 8 图1 图2 说明书附图 1/8 页 9 CN 112114045 A 9 图3 图4 说明书附图 2/8 页 10 CN 112114045 A 10 图5 图6 说明书附图 3/8 页 11 CN 112114045 A 11 图7 说明书附图 4/8 页 12 CN 112114045 A 12 图8 说明书附图 5/8 页 13 CN 112114045 A 13 图9 说明书附图 6/8 页 14 CN 112114045 A 14 图10 说明书附图 7/8 页 15 CN 112114045 A 15 图11 说明书附图 8/8 页 16 CN 112114045 A 16 。