1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410001280.1(22)申请日 2024.01.02(71)申请人 天津大学地址 300072 天津市南开区卫津路92号(72)发明人 李醒飞邢伟达拓卫晓杨辰熙封善斋(74)专利代理机构 中科专利商标代理有限责任公司 11021专利代理师 郭梦雅(51)Int.Cl.G06T 5/70(2024.01)G06T 5/73(2024.01)(54)发明名称遥感模糊图像复原方法及系统(57)摘要本发明提供了一种遥感模糊图像复原方法及系统,可以应用于图像处理技术领域。遥感模糊图像复原方法,应
2、用于上位机包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,模糊图像是从图像采集装置获取得到的;根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像;将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像;将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。权利要求书2页 说明书12页 附图6页CN 117495713 A2024.02.02CN 117495713 A1.一种遥感模糊图像复原方法,应用于上位机,其特征在于,所述方法
3、包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,所述模糊图像是从图像采集装置获取得到的;根据所述模糊图像的边缘信息,对所述模糊图像进行复原,得到边缘复原图像和无边缘复原图像,所述边缘复原图像是对所述模糊图像的边缘信息进行复原得到的,所述无边缘复原图像是对去除边缘信息的所述模糊图像进行复原得到的;将所述边缘复原图像和所述无边缘复原图像进行叠加,得到第二复原图像;将所述模糊图像分别与所述第一复原图像和所述第二复原图做逻辑运算,得到所述第一复原图像的平滑域和所述第二复原图像的纹理域;以及将所述第一复原图像的平滑域和所述第二复原图像的纹理域进行融合,得到目标复原图像。2.根据权利要
4、求1所述的方法,其特征在于,所述根据所述模糊图像的边缘信息,对所述模糊图像进行复原,得到边缘复原图像和无边缘复原图像包括:根据所述模糊图像的边缘信息,通过Canny算法对所述模糊图像进行边缘提取,得到与所述边缘信息对应的边缘模糊图像;将所述模糊图像与所述边缘模糊图像做差运算,得到无边缘模糊图像;以及对所述边缘模糊图像和所述无边缘模糊图像分别进行全变差正则化,得到与所述边缘模糊图像对应的边缘复原图像、与所述无边缘模糊图像对应的无边缘复原图像。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:通过局部熵形态学操作,对所述模糊图像进行分割,得到所述模糊图像的平滑域和所述模糊图像的纹理域。4.
5、根据权利要求3所述的方法,其特征在于,所述模糊图像包括至少一个模糊子图像,所述通过局部熵形态学操作,对所述模糊图像进行分割,得到所述模糊图像的平滑域和所述模糊图像的纹理域包括:将所述模糊子图像的邻域灰度均值和像素灰度组成特征二元组;根据所述模糊子图像的尺度和所述特征二元组出现的频数,计算得到特征二元组出现的频率;根据所述特征二元组出现的频率,对所述模糊子图像进行熵计算,得到局部熵子图像,其中熵计算公式如下:;pij表示特征二元组为(i,j)出现的概率,计算局部熵是以像素点为中心的N*N的区域进行熵计算,H表示所述模糊子图像的熵,L表示所述模糊子图像的像素灰度等级;以及根据所述局部熵子图像,得到
6、所述模糊图像的平滑域和所述模糊图像的纹理域。5.根据权利要求4所述的方法,其特征在于,所述根据所述局部熵子图像,得到所述模糊图像的平滑域和所述模糊图像的纹理域包括:对局部熵图像进行开运算,得到待处理图像,所述局部熵图像包括至少一个所述局部熵子图像;权利要求书1/2 页2CN 117495713 A2利用二值图像孔洞填充函数,对所述待处理图像的孔洞进行填充,得到所述模糊图像的纹理域;以及对所述模糊图像的纹理域进行取反操作,得到所述模糊图像的平滑域。6.根据权利要求3至5中任一项所述的方法,其特征在于,所述将所述模糊图像分别与所述第一复原图像和所述第二复原图做逻辑运算,得到所述第一复原图像的平滑域
7、和所述第二复原图像的纹理域包括:将所述模糊图像的平滑域与所述第一复原图像做与运算,得到所述第一复原图像的平滑域;以及将所述模糊图像的纹理域与所述第二复原图做与运算,得到所述第二复原图像的纹理域。7.根据权利要求6所述的方法,其特征在于,所述将所述第一复原图像的平滑域和所述第二复原图像的纹理域进行融合,得到目标复原图像,其中融合计算公式如下:;I1表示所述第一复原图像,P表示为所述第一复原图像的平滑区域,I2表示所述第二复原图像,W表示为所述第二复原图像的纹理区域,I3表示所述目标复原图像。8.根据权利要求1所述的方法,其特征在于,所述根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像
8、,还包括:获取所述图像采集装置采集所述模糊图像的曝光时间;从数据采集装置获取所述图像采集装置在所述曝光时间内的角速度信息,所述角速度信息是通过角速度传感器采集得到的;根据所述图像采集装置的初始角位移、所述曝光时间和所述角速度信息,得到曝光角位移,所述曝光角位移为所述图像采集装置在所述曝光时间内的角位移;根据所述图像采集装置的焦距、所述曝光角位移,得到在所述曝光时间内的像位移,所述像位移为所述模糊图像在所述曝光时间内发生的位移量;以及根据所述像位移、所述模糊图像中像元的宽度和可调参数,构建所述点扩散函数。9.一种遥感模糊图像复原系统,其特征在于,所述系统包括:单轴角振动平台,图像采集装置,安装在
9、所述单轴角振动平台上,所述单轴角振动平台被配置为驱动所述图像采集装置转动,所述图像采集装置被配置为采集模糊图像;上位机,与所述图像采集装置电连接,被配置为接收所述模糊图像,并执行权利要求18中任一项所述的方法对所述模糊图像进行处理,得到目标复原图像。10.根据权利要求9所述的系统,其特征在于,所述系统还包括:角速度传感器,安装在所述图像采集装置与所述单轴角振动平台之间,所述单轴角振动平台被配置为通过所述角速度传感器驱动所述图像采集装置转动,所述角速度传感器适用于在曝光时间内对所述图像采集装置进行角速度信息采集;数据采集装置,与所述上位机和所述角速度传感器电连接,所述数据采集装置被配置为将从所述
10、角速度传感器获取得到的所述角速度信息传输至所述上位机。权利要求书2/2 页3CN 117495713 A3遥感模糊图像复原方法及系统技术领域0001本发明涉及图像处理技术领域,尤其涉及一种遥感模糊图像复原方法及系统。背景技术0002卫星在轨工作时,星上运动部件及外部环境引起的平台颤振使得成像目标的光学图像与成像器件焦平面之间存在相对运动,造成曝光时间内像点在焦面上的运动,产生像移。0003随着遥感卫星分辨率不断提高,遥感图像对平台颤振也越来越敏感,产生的像移越明显,从而导致图像愈模糊。发明内容0004鉴于上述问题,本发明提供了遥感模糊图像复原方法及系统。0005根据本发明的第一个方面,提供了一
11、种遥感模糊图像复原方法,应用于上位机,包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,模糊图像是从图像采集装置获取得到的。根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像,边缘复原图像是对模糊图像的边缘信息进行复原得到的,无边缘复原图像是对去除边缘信息的模糊图像进行复原得到的。将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像。将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。0006根据本发明的实施例,根据所述模糊图像
12、的边缘信息,对所述模糊图像进行复原,得到边缘复原图像和无边缘复原图像包括:根据模糊图像的边缘信息,通过Canny算法对模糊图像进行边缘提取,得到与边缘信息对应的边缘模糊图像。将模糊图像与边缘模糊图像做差运算,得到无边缘模糊图像。对边缘模糊图像和无边缘模糊图像分别进行全变差正则化,得到与边缘图像对应的边缘复原图像、与无边缘模糊图像对应的无边缘复原图像。0007根据本发明的实施例,方法还包括:通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图像的纹理域。0008根据本发明的实施例,模糊图像包括至少一个模糊子图像,通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模
13、糊图像的纹理域包括:将模糊子图像的邻域灰度均值和像素灰度组成特征二元组。根据模糊子图像的尺度和特征二元组出现的频数,计算得到特征二元组出现的频率。根据特征二元组出现的频率,对模糊子图像进行熵计算,得到局部熵子图像,其中熵计算公式如下。00090010pij表示特征二元组为(i,j)出现的概率,计算局部熵是以像素点为中心的N*N的区域进行熵计算,H表示所述模糊子图像的熵,L表示所述模糊子图像的像素灰度等级。以及说明书1/12 页4CN 117495713 A4根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域。0011根据本发明的实施例,根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹
14、理域包括:对局部熵图像进行开运算,得到待处理图像,局部熵图像包括至少一个局部熵子图像。利用二值图像孔洞填充函数,对待处理图像的孔洞进行填充,得到模糊图像的纹理域。对模糊图像的纹理域进行取反操作,得到模糊图像的平滑域。0012根据本发明的实施例,将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域包括:将模糊图像的平滑域与第一复原图像做与运算,得到第一复原图像的平滑域。将模糊图像的纹理域与第二复原图做与运算,得到第二复原图像的纹理域。0013根据本发明的实施例,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像,其中融合计算公式如
15、下。00140015I1表示第一复原图像,P表示为第一复原图像的平滑区域,I2表示第二复原图像,W表示为第二复原图像的纹理区域,I3表示目标复原图像。0016根据本发明的实施例,根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,还包括:获取图像采集装置采集模糊图像的曝光时间。从数据采集装置获取图像采集装置在曝光时间内的角速度信息,角速度信息是通过角速度传感器采集得到的。根据图像采集装置的初始角位移、曝光时间和角速度信息,得到曝光角位移,曝光角位移为图像采集装置在曝光时间内的角位移。根据图像采集装置的焦距、曝光角位移,得到在曝光时间内的像位移,像位移为模糊图像在曝光时间内发生的位移量
16、。根据像位移、模糊图像中像元的宽度和可调参数,构建点扩散函数。0017本发明的第二方面提供了一种遥感模糊图像复原系统,包括:单轴角振动平台,图像采集装置,安装在单轴角振动平台上,单轴角振动平台被配置为驱动图像采集装置转动,图像采集装置被配置为采集模糊图像。上位机,与图像采集装置电连接,被配置为接收模糊图像,并执行上述方法对模糊图像进行处理,得到目标复原图像。0018根据本发明的实施例,上述遥感模糊图像复原系统还包括:角速度传感器,安装在图像采集装置与单轴角振动平台之间,单轴角振动平台被配置为通过角速度传感器驱动图像采集装置转动,角速度传感器适用于在曝光时间内对图像采集装置进行角速度信息采集。数
17、据采集装置,与上位机和角速度传感器电连接,数据采集装置被配置为将从角速度传感器获取得到的角速度信息传输至上位机。0019本发明的第三方面提供了一种电子设备,包括:一个或多个处理器。存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。0020本发明的第四方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。0021本发明的第五方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。0022根据本发明提供的遥感模糊图像复原方法及系统,通过根据点扩散函数
18、,对模糊说明书2/12 页5CN 117495713 A5图像进行全变差正则化,得到边缘和平滑区域复原效果较好的第一复原图像。根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像。将边缘复原图像和无边缘复原图像进行叠加,得到纹理细节复原效果较好的第二复原图像。0023将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到清晰且细节恢复良好的目标复原图像。附图说明0024通过以下参照附图对本发明实施例的描述,本发明的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
19、图1示意性示出了根据本发明实施例的遥感模糊图像复原方法的应用场景图;图2示意性示出了根据本发明实施例的遥感模糊图像复原系统示意图;图3示意性示出了根据本发明实施例的遥感模糊图像复原方法的流程图;图4示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像;图5示意性示出了根据本发明实施例的遥感模糊图像复原方法中第一复原图像;图6示意性示出了根据本发明实施例的遥感模糊图像复原方法的第二复原图像;图7示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的纹理域示意图;图8示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的平滑域示意图;图9示意性示出了根据本发明实施例的遥感模
20、糊图像复原方法中目标复原图像;图10示意性示出了根据本发明实施例的第一复原图像的细节部分图;图11示意性示出了根据本发明实施例的第二复原图像的细节部分图;图12示意性示出了根据本发明实施例的目标复原图像的细节部分图;以及图13示意性示出了根据本发明实施例的适于实现遥感模糊图像复原方法的电子设备的方框图。具体实施方式0025以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省
21、略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。0026在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。0027在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。说明书3/12 页6CN 117495713 A60028在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按
22、照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。0029在本发明的技术方案中,所涉及的用户信息(包括但不限于用户个人信息、用户图像信息、用户设备信息,例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、发明和应用等处理,均遵守相关国家和地区的相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作
23、入口,供用户选择授权或者拒绝。0030卫星在轨工作时,星上运动部件及外部环境引起的平台颤振使得成像目标的光学图像与成像器件焦平面之间存在相对运动,造成曝光时间内像点在焦面上的运动,产生像移,进而导致图像模糊。0031本发明的实施例提供了一种遥感模糊图像复原方法,应用于上位机,包括:根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像,模糊图像是从图像采集装置获取得到的;根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像,边缘复原图像是对模糊图像的边缘信息进行复原得到的,无边缘复原图像是对去除边缘信息的模糊图像进行复原得到的;将边缘复原图像和无边缘复原图像进行叠
24、加,得到第二复原图像;将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。0032图1示意性示出了根据本发明实施例的遥感模糊图像复原方法的应用场景图。0033如图1所示,根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和上位机105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和上位机105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。00
25、34用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与上位机105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。0035第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。0036上位机105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设
26、备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。0037需要说明的是,本发明实施例所提供的遥感模糊图像复原方法一般可以由上位机105执行。相应地,本发明实施例所提供的遥感模糊图像复原装置一般可以设置于上位机说明书4/12 页7CN 117495713 A7105中。本发明实施例所提供的遥感模糊图像复原方法也可以由不同于上位机105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或上位机105通信的服务器或服
27、务器集群执行。相应地,本发明实施例所提供的遥感模糊图像复原装置也可以设置于不同于上位机105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或上位机105通信的服务器或服务器集群中。0038应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。0039一种遥感模糊图像复原系统,包括:单轴角振动平台,图像采集装置,安装在单轴角振动平台上,单轴角振动平台被配置为驱动图像采集装置转动,图像采集装置被配置为采集模糊图像。上位机,与图像采集装置电连接,被配置为接收模糊图像,并执行本发明的遥感模糊图像复原方法对模糊图像进
28、行处理,得到目标复原图像。0040根据本发明的实施例,图像采集装置可以是相机。上位机可以是服务器,也可以是具有存储器和处理器的计算机等。0041根据本发明的实施例,角速度传感器可以是磁流体动力学角速度传感器、光纤陀螺等。0042根据本发明的实施例,上述遥感模糊图像复原系统还包括:角速度传感器,安装在图像采集装置与单轴角振动平台之间,单轴角振动平台被配置为通过角速度传感器驱动图像采集装置转动,角速度传感器适用于在曝光时间内对图像采集装置进行角速度信息采集。数据采集装置,与上位机和角速度传感器电连接,数据采集装置被配置为将从角速度传感器获取得到的角速度信息传输至上位机。0043图2示意性示出了根据
29、本发明实施例的遥感模糊图像复原系统示意图。0044如图2所示,图像采集装置可以是相机1。将角速度传感器2安装在相机1的X轴方向上,角速度传感器2、相机1和单轴角振动平台3刚性固连在一起,并安装在气浮平台10上。单轴角振动台3可采用带宽为02500赫兹的高频角振动平台,用于模拟卫星平台上的高频微角振动。0045利用上位机5给单轴角振动台3一个激励信号7,单轴角振动台3发生转动,角速度传感器2同时开始测量相机1在X轴上的角速度,并由数据采集卡4进行数据采集,传输至上位机5。0046系统运行稳定后,上位机5给出触发脉冲,当相机1接收到触发脉冲后,开始曝光,并拍摄靶标,得到由微角振动导致的模糊图像,并
30、传输至上位机5。0047根据本发明的实施例,将相机1和角速度传感器2刚性固连在角振动台上,通过上位机5给单轴角振动台3一个单频正弦激励信号,单轴角振动台3带动相机1和角速度传感器2一起转动,角速度传感器2持续输出角速度数据8,并由数据采集卡4进行采集后,传送至上位机5。相机1采用外触发采集模式成像,待系统稳定运行后,上位机5给出触发脉冲,相机1在触发脉冲上升沿开始曝光,相机1开始曝光对靶标进行成像,获取模糊的靶标图像6(模糊图像9),并传输至上位机5。通过触发脉冲位置可准确定位到曝光时间段内角速度传感器2的输出数据,通过对角速度信息进行计算得到非盲图像复原所需点扩散函数。0048根据采集装置的
31、角速度信息,计算得到点扩散函数,角速度信息是在曝光时间内,通过角速度传感器对图像采集装置的角速度采集得到的。说明书5/12 页8CN 117495713 A80049图3示意性示出了根据本发明实施例的遥感模糊图像复原方法的流程图。0050如图3所示,该实施例的遥感模糊图像复原方法包括操作S310操作S350。0051在操作S310,根据点扩散函数,对模糊图像进行全变差正则化,得到第一复原图像。0052在操作S320,根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像。0053在操作S330,将边缘复原图像和无边缘复原图像进行叠加,得到第二复原图像。0054在操作S34
32、0,将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。0055在操作S350,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像。0056图4示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像。0057根据本发明的实施例,模糊图像是从图像采集装置获取得到的,模糊图像如图4所示。0058根据本发明的实施例,点扩散函数可以是全变差正则化中的函数。0059根据本发明的实施例,模糊图像的边缘信息可以是距离模糊图像中心点等长的边框与模糊图像的外框组成的图像信息,也可以是根据实际需要自由设定的图像边缘信息。例如,模糊图像中距离
33、左侧边框5毫米之内的像素点信息,可以是模糊图像的边缘信息。0060根据本发明的实施例,边缘复原图像是对模糊图像的边缘信息进行复原得到的,无边缘复原图像是对去除边缘信息的模糊图像进行复原得到的。0061根据本发明的实施例,通过提取模糊图像的边缘信息。再根据边缘信息对模糊图像进行处理,再通过复原方法得到边缘复原图像和无边缘复原图像,复原方法可以是全变差正则化、RL(Reinforcement Learning,强化学习)算法、维纳滤波算法等。0062根据本发明的实施例,逻辑运算可以是图像加法运算、图像减法运算、图像或运算等。0063根据本发明的实施例,将第一复原图像的平滑域和第二复原图像的纹理域进
34、行融合,使得融合得到的目标复原图像具有平滑区域和纹理细节复原效果较好的特点。0064根据本发明的实施例,通过根据点扩散函数,对模糊图像进行全变差正则化,得到边缘和平滑区域复原效果较好的第一复原图像。根据模糊图像的边缘信息,对模糊图像进行复原,得到边缘复原图像和无边缘复原图像。将边缘复原图像和无边缘复原图像进行叠加,得到纹理细节复原效果较好的第二复原图像。0065将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域。将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到清晰且细节恢复良好的目标复原图像。0066根据本发明的实施例,根据点扩散函数,
35、对模糊图像进行全变差正则化,得到第一复原图像,还包括:获取图像采集装置采集模糊图像的曝光时间。从数据采集装置获取图像采集装置在曝光时间内的角速度信息,角速度信息是通过角速度传感器采集得到的。根据图像采集装置的初始角位移、曝光时间和角速度信息,得到曝光角位移,曝光角位移为图像采集装置在曝光时间内的角位移。根据图像采集装置的焦距、曝光角位移,得到在曝光时间说明书6/12 页9CN 117495713 A9内的像位移,像位移为模糊图像在曝光时间内发生的位移量。根据像位移、模糊图像中像元的宽度和可调参数,构建点扩散函数。0067根据本发明的实施例,计算曝光时间内的角位移。从上位机中读取角速度传感器测得
36、的角速度数据。设所测角速度为w(t),对角速度进行积分,可以得到相机曝光时间内的角位移如下。0068;0069式中:为光轴X轴方向转动的角位移,为曝光开始前一时刻相机位置,ts、te分别为曝光开始时间和结束时间。0070根据本发明的实施例,计算曝光时间内的像移。根据计算可以得到曝光时间内的像移x(t)计算公式如下。0071;0072式中:f为相机的焦距,为光轴与目标点X轴方向初始夹角。0073根据本发明的实施例,构建点扩散函数。设成像系统一个像元的宽度为p,将像移转换至像素坐标系中。0074;式中:P(t)表示t时刻像点距离平衡位置的像元个数,k为可调参数,k值取决于成像过程中的环境噪声、像点
37、弥散、离焦等因素,取值范围一般为。0075对探测到的像点轨迹进行等时间间隔采样,统计每个像元上的采样间隔数,可得到像点轨迹上的光能分布情况。归一化后可得到各像元的光能权值,移动轨迹上所有像元的权值构成了点扩散函数h。0076根据本发明的实施例,利用构建得到点扩散函数,结合TV正则化(Total Variation Regularization,全变差正则化)图像复原算法对模糊图像直接进行图像复原。TV正则化图像复原算法是将图像的梯度作为正则化项引入到图像复原优化模型中,基于图像退化模型给出TV正则化复原优化模型的目标函数如下。0077;式中:B表示模糊图像,I表示待确定目标复原图像,h表示点扩
38、散函数,代表卷积运算,为L2范数,为数据保真项,R(i)为正则化项,i为正则化项系数,用于控制数据保真项和正则化项之间的权重比例,为角振动频率88Hz导致的模糊图像。0078图5示意性示出了根据本发明实施例的遥感模糊图像复原方法中第一复原图像。0079根据本发明的实施例,将构建得到的点扩散函数h,以及读取上位机中存储的模糊图像B,令目标函数E(i)最小进行求解,如图4所示,解出即可得到边缘和平滑区域复原效果较好,纹理细节区域效果不好的第一复原图像I1。说明书7/12 页10CN 117495713 A100080根据本发明的实施例,根据模糊图像的边缘信息,对模糊图像进行处理,得到边缘复原图和无
39、边缘复原图像包括:根据模糊图像的边缘信息,通过Canny算法对模糊图像进行边缘提取,得到与边缘信息对应的边缘模糊图像。将模糊图像与边缘模糊图像做差运算,得到无边缘模糊图像。对边缘模糊图像和无边缘模糊图像分别进行全变差正则化,得到与边缘图像对应的边缘复原图像、与无边缘模糊图像对应的无边缘复原图像。0081根据本发明的实施例,读取图像采集装置中的模糊图像B,利用Canny算法对模糊图像B进行边缘提取,Canny算法所需高斯滤波器一般选用系统默认大小,边缘提取所需阈值一般根据图像的灰度情况确定。边缘提取后得到边缘模糊图像B1,将模糊图像B与边缘模糊图像B1做差,得到无边缘模糊图像B2。0082边缘模
40、糊图像B1和无边缘模糊图像B2分别代入TV正则化模型中,分别求解得到B1和B2的复原图像,即边缘复原图像和无边缘复原图像。0083图6示意性示出了根据本发明实施例的遥感模糊图像复原方法的第二复原图像。0084如图6所示,边缘复原图像和无边缘复原图像进行叠加,得到边缘和平滑区域复原效果不好,纹理细节复原效果较好的第二复原图像。第二复原图像记为I2。0085根据本发明的实施例,方法还包括:通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图像的纹理域。0086根据本发明的实施例,模糊图像包括至少一个模糊子图像,通过局部熵形态学操作,对模糊图像进行分割,得到模糊图像的平滑域和模糊图
41、像的纹理域包括:将模糊子图像的邻域灰度均值和像素灰度组成特征二元组。根据模糊子图像的尺度和特征二元组出现的频数,计算得到特征二元组出现的频率。根据特征二元组出现的频率,对模糊子图像进行熵计算,得到局部熵子图像,其中熵计算公式如下。0087;pij表示特征二元组为(i,j)出现的概率,计算局部熵是以像素点为中心的N*N的区域进行熵计算。以及根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域。0088根据本发明的实施例,读取图像采集装置中的模糊图像B,并对模糊图像B进行局部熵运算。选择图像的邻域灰度均值作为灰度分布的空间特征量,与图像的像素灰度组成特征二元组,记为(i,j),其中i表示像素的
42、灰度值范围为0,L1,j表示邻域灰度均值取值范围也为0,L1,L为图像的灰度等级,令pij表示图像中灰度值为(i,j)出现的概率。0089;其中f(i,j)为特征二元组(i,j)出现的频数,N为图像的尺度。0090根据本发明的实施例,根据局部熵子图像,得到模糊图像的平滑域和模糊图像的纹理域包括:对局部熵图像进行开运算,得到待处理图像,局部熵图像包括至少一个局部熵子图像。利用二值图像孔洞填充函数,对待处理图像的孔洞进行填充,得到模糊图像的纹理域。对模糊图像的纹理域进行取反操作,得到模糊图像的平滑域。0091根据本发明的实施例,是以像素点为中心的N*N的区域进行熵计算,一般N=9,在模糊图像B所构
43、成的矩阵中进行滑窗依次计算,得到至少一个局部熵子图像,最后将至少一个说明书8/12 页11CN 117495713 A11局部熵子图像采用默认参数进行二值化处理,得到局部熵图像E1。0092根据本发明的实施例,将局部熵图像E1进行开运算,得到待处理图像。实现连通图像中孤立部分进一步的消除图像中噪声,更好的保持边缘位置,开运算所需参数要根据图像具体效果进行调节。0093图7示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的纹理域示意图。0094图8示意性示出了根据本发明实施例的遥感模糊图像复原方法中模糊图像的平滑域示意图。0095如图7至8所示,再利用二值图像孔洞填充函数,对待处理图
44、像的孔洞进行填充,得到模糊图像的纹理域W,取反得到模糊图像的平滑域P。0096根据本发明的实施例,将模糊图像分别与第一复原图像和第二复原图做逻辑运算,得到第一复原图像的平滑域和第二复原图像的纹理域包括:将模糊图像的平滑域与第一复原图像做与运算,得到第一复原图像的平滑域。将模糊图像的纹理域与第二复原图做与运算,得到第二复原图像的纹理域。0097根据本发明的实施例,边缘模糊图像B1和无边缘模糊图像B2分别代入TV正则化模型中,分别求解得到边缘复原图像和无边缘复原图像。分别将模糊图像的平滑域和第一复原图像I1、模糊图像的纹理域和第二复原图像I2做与运算,提取复原图像I1的平滑域和复原图像I2的纹理域
45、。0098根据本发明的实施例,将第一复原图像的平滑域和第二复原图像的纹理域进行融合,得到目标复原图像,其中融合计算公式如下。0099;I1表示第一复原图像,P表示为第一复原图像的平滑区域,I2表示第二复原图像,W表示为第二复原图像的纹理区域,I3表示目标复原图像。0100图9示意性示出了根据本发明实施例的遥感模糊图像复原方法中目标复原图像。0101图10示意性示出了根据本发明实施例的第一复原图像的细节部分图。0102图11示意性示出了根据本发明实施例的第二复原图像的细节部分图。0103图12示意性示出了根据本发明实施例的目标复原图像的细节部分图。0104如图9至12所示,目标复原图像的细节部分
46、(图12)中纹理区域(如数字“8”“9”“10”下面的条纹)复原效果优于图10,目标复原图像的细节部分(图12)中平滑区域(如数字“8”“9”“10”周围白色区域)复原效果优于图11。0105利用角速度传感器(如磁流体动力学角速度传感器、光纤陀螺等)获取相机的颤振信息,利用颤振测量信息构建点扩散函数,实现图像的非盲复原。首先,利用TV正则化直接复原模糊图像,得到边缘和平滑区域复原效果较好的第一复原图像。然后,采用Canny算法提取模糊图像边缘,利用TV正则化算法分别对提取的边缘图像和去除边缘的模糊图像进行图像复原,分别得到边缘复原图像和无边缘复原图像,并将两幅复原图像进行叠加,得到一幅纹理细节
47、复原效果较好的第二复原图像。最后,利用局部熵形态学操作分割模糊图像,得到模糊图像的纹理域和平滑域,分别将平滑域和第一复原图像、纹理域和第二复原图像做与运算,提取第一复原图像的平滑域和第二复原图像的纹理域,并进行融合,获得清晰且细说明书9/12 页12CN 117495713 A12节恢复良好的高质量遥感图像。此方法可以在不增加卫星体积和成本的条件下,实现遥感模糊图像的高质量复原。0106利用高频角速度传感器如磁流体动力学角速度传感器、光纤陀螺等作为测量微角振动信息的元件,实现宽频瞬态角速率的高精度测量。通过角速度传感器获取相机的角速度信息,可以构建出更精确的点扩散函数,为后续采用非盲图像复原算
48、法提供基础。0107利用TV正则化算法结合Canny算法(边缘检测算法)对模糊图像进行高质量复原,再通过局部熵形态学操作进行图像分割,将复原效果好的部分进行融合,能够在去除噪声的同时保护图像边缘和纹理细节,具有增强边缘、保护细节的优点。通过精确的点扩散函数与所提出的图像复原算法相结合,显著的提高了图像质量,得到清晰的图像。0108图13示意性示出了根据本发明实施例的适于实现遥感模糊图像复原方法的电子设备的方框图。0109如图13所示,根据本发明实施例的电子设备1300包括处理器1301,其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)13
49、03中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。0110在RAM 1303中,存储有电子设备1300操作所需的各种程序和数据。处理器 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。处理器1301通过执行ROM 1302和/或RAM 1303中的程序来执行根据本发明实施例的方法流程的各种操作。需
50、要注意,所述程序也可以存储在除ROM 1302和RAM 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。0111根据本发明的实施例,电子设备1300还可以包括输入/输出(I/O)接口1305,输入/输出(I/O)接口1305也连接至总线1304。电子设备1300还可以包括连接至输入/输出(I/O)接口1305的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN卡、