用于确定图像清晰度的设备和方法.pdf

《用于确定图像清晰度的设备和方法.pdf》由会员分享，可在线阅读，更多相关《用于确定图像清晰度的设备和方法.pdf（24页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911005311.6 (22)申请日 2019.10.22 (30)优先权数据 62/778,542 2018.12.12 US 16/514,560 2019.07.17 US (71)申请人 三星电子株式会社 地址 韩国京畿道水原市 (72)发明人 朴晟俊李正元王双全 (74)专利代理机构 北京铭硕知识产权代理有限 公司 11286 代理人 刘灿强张川绪 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/40(2017.01) G06T 5/。

2、00(2006.01) (54)发明名称 用于确定图像清晰度的设备和方法 (57)摘要 提供一种用于确定图像清晰度的设备和方 法。 根据一个实施例， 一种设备包括： 权重装置， 被配置为确定参考图像的权重映射； 图像锐化装 置， 被配置为使用至少一种锐化方法对参考图像 进行锐化； 第一边缘活动映射装置， 连接到图像 锐化装置， 并且被配置为： 确定参考图像的通过 至少一种锐化方法的每个锐化图像的第一边缘 活动映射(x， y)； 以及边缘清晰度度量装置， 连 接到权重装置和第一边缘活动映射装置， 并且被 配置为： 基于权重映射和参考图像的通过至少一 种锐化方法的每个锐化图像的边缘活动映射， 确 。

3、定参考图像的通过至少一种锐化方法的每个锐 化图像的边缘清晰度度量(ESM)。 权利要求书3页 说明书15页 附图5页 CN 111311533 A 2020.06.19 CN 111311533 A 1.一种用于确定图像清晰度的设备， 包括： 权重装置， 被配置为： 确定参考图像IR(x， y)的权重映射W(x， y)， 其中， x是所述参考图像 在水平方向上的像素， y是所述参考图像在垂直方向上的像素； 图像锐化装置， 被配置为： 使用至少一种锐化方法对所述参考图像进行锐化， 以获得所 述参考图像的与所述至少一种锐化方法分别对应的锐化图像； 第一边缘活动映射装置， 连接到图像锐化装置， 并且。

4、被配置为： 确定所述参考图像的每 个锐化图像的边缘活动映射(x， y)； 以及 边缘清晰度度量装置， 连接到权重装置和第一边缘活动映射装置， 并且被配置为： 基于 权重映射和每个锐化图像的边缘活动映射(x， y)来确定每个锐化图像的边缘清晰度度量 ESM。 2.如权利要求1所述的设备， 还包括： 第二边缘活动映射装置， 被配置为： 接收所述参考图像并确定所述参考图像的边缘活 动映射R(x， y)； 概率密度函数PDF装置， 连接到第二边缘活动映射装置， 并且被配置为： 确定所述参考 图像的边缘活动映射R(x， y)的PDF； 以及 累积密度函数CDF装置， 连接在概率密度函数装置与权重装置之间。

5、， 并且被配置为确定 所述PDF的CDF。 3.根据权利要求1所述的设备， 其中， 权重装置被配置为： 将每个锐化图像划分为平滑 区域和细节区域。 4.根据权利要求1所述的设备， 其中， 第一边缘活动映射装置被配置为： 基于Sobel算子 来确定边缘活动映射。 5.根据权利要求3所述的设备， 其中， 权重装置包括： S型装置， 包括： 第一输入， 用于接收累积密度函数； 第二输入， 用于接收权重函数的斜 率参数 ； 第三输入， 用于接收用于在平滑区域与细节区域之间划分所述参考图像的定中心 参数 ； 以及 权重映射器装置， 连接到S型装置， 并且被配置为： 确定所述参考图像的权重映射， 其 中，。

6、 10， 0.5。 6.根据权利要求2所述的设备， 其中， 第二边缘活动映射装置被配置为： 基于Sobel算子 来确定边缘活动映射。 7.根据权利要求1所述的设备， 其中， 权重映射具有介于-1 1之间的值， 其中， 平滑区 域由负值指示， 而细节区域由正值指示。 8.根据权利要求1所述的设备， 其中， 所述至少一种锐化方法包括拉普拉斯锐化方法和 边缘保持锐化方法中的至少一种。 9.根据权利要求1所述的设备， 其中， ESM被表示为： 其中， N为所述参考图像的宽度， M为所述参考图像的 高度。 10.根据权利要求2所述的设备， 其中 权利要求书 1/3 页 2 CN 111311533 A 。

7、2 其中， 以及 11.一种用于确定图像清晰度的方法， 包括： 由权重装置确定参考图像IR(x， t)的权重映射W(x， y)， 其中， x是所述参考图像在水平方 向上的像素， y是所述参考图像在垂直方向上的像素； 由图像锐化装置使用至少一种锐化方法对所述参考图像进行锐化， 以获得所述参考图 像的与所述至少一种锐化方法分别对应的锐化图像； 由连接到图像锐化装置的第一边缘活动映射装置， 确定所述参考图像的每个锐化图像 的边缘活动映射(x， y)； 以及 由连接到权重装置和第一边缘活动映射装置的边缘清晰度度量装置， 基于权重映射和 所述参考图像的每个锐化图像的边缘活动映射(x， y)， 确定所述参。

8、考图像的每个锐化图 像的边缘清晰度度量ESM。 12.如权利要求11所述的方法， 还包括： 由第二边缘活动映射装置接收所述参考图像； 确定所述参考图像的边缘活动映射R(x， y)； 由连接到第二边缘活动映射装置的概率密度函数PDF装置， 确定所述参考图像的边缘 活动映射R(x， y)的PDF； 以及 由连接在概率密度函数装置与权重装置之间的累积密度函数CDF装置来确定所述PDF 的CDF。 13.如权利要求11所述的方法， 其中， 权重装置被配置为： 由S型装置接收累积密度函数、 权重函数的斜率参数 以及用于在平滑区域与细节区域 之间划分参考图像的定中心参数 ； 以及 由连接到S型装置的权重映。

9、射器装置来确定所述参考图像的权重映射。 14.如权利要求11所述的方法， 其中， 第一边缘活动映射装置被配置为： 基于Sobel算子 来确定边缘活动映射。 15.权利要求13的方法， 其中， 10， 0.5。 16.根据权利要求12所述的方法， 其中， 第二边缘活动映射装置被配置为： 基于Sobel算 子来确定边缘活动映射。 17.根据权利要求11所述的方法， 其中， 权重映射具有介于-1 1之间的值。 18.根据权利要求11所述的方法， 其中， 所述至少一种锐化方法包括拉普拉斯锐化方法 和边缘保持锐化方法中的至少一种。 19.根据权利要求11所述的方法， 其中， ESM被表示为： 权利要求书。

10、 2/3 页 3 CN 111311533 A 3 其中， N为所述参考图像的宽度， M为所述参考图像的高度。 20.根据权利要求12所述的方法， 其中， 其中， 以及 权利要求书 3/3 页 4 CN 111311533 A 4 用于确定图像清晰度的设备和方法 0001 本申请要求于2018年12月12日提交到美国专利商标局的被分配序列号62/778, 542的美国专利申请的优先权， 所述美国专利申请的全部内容通过引用包含于此。 技术领域 0002 本公开总体上涉及图像分析， 更具体地， 涉及用于确定图像清晰度的设备和方法。 背景技术 0003 人类视觉是一种好的图像捕捉系统， 目前还没有开。

11、发出优于人眼的装置。 判断图 像质量有许多因素， 包括噪声水平、 动态范围和颜色。 在所述因素中， 清晰度(sharpness)是 一个关键特征， 因为人眼对亮度的变化敏感， 而最重要的信息来自图像中对象的轮廓和边 缘。 然而， 以定量和客观的方式来确定清晰度水平并不容易。 传统的图像度量(诸如， 峰值信 噪比(PSNR)和结构相似性指数(SSIM)并不指示清晰度水平， 尽管PSNR和SSIM对于诸如色 彩保真度或降噪的其他因素是有效的。 0004 评价图像有多好看并不容易， 因为判断图像是否在审美上好看主要取决于观看者 的喜好。 当人观看图像来确定图像的质量是否好时， 仅通过直觉同时考虑各种。

12、图像特征(诸 如， 动态范围、 失真、 色差、 阴影、 色域、 颜色精度、 噪声水平和清晰度)， 而不识别图像特征。 通常， 识别好看图像的最佳方法是让许多人观看图像， 以选择哪一个更好， 并收集平均意见 得分。 然而， 这种主观的评估通常需要大量的时间和费用， 更不用说不便了。 发明内容 0005 根据一个实施例， 提供一种设备。 所述设备包括： 权重装置， 被配置为： 确定参考图 像IR(x， y)的权重映射W(x， y)， 其中， x是所述参考图像在水平方向上的像素， y是所述参考 图像在垂直方向上的像素； 图像锐化装置， 被配置为： 使用至少一种锐化方法对所述参考图 像进行锐化； 边缘。

13、活动映射装置， 连接到图像锐化装置， 并且被配置为： 确定所述参考图像 的通过所述至少一种锐化方法的每个锐化图像的边缘活动映射(x， y)； 以及边缘清晰度 度量装置， 连接到权重装置和边缘活动映射装置， 并且被配置为： 基于权重映射和每个锐化 图像的边缘活动映射来确定每个锐化图像的边缘清晰度度量(ESM)。 0006 根据一个实施例， 提供一种方法。 所述方法包括： 由加权装置确定参考图像IR(x， y)的加权映射W(x， y)， 其中， x是所述参考图像在水平方向上的像素， y是所述参考图像在垂 直方向上的像素； 由图像锐化装置使用至少一种锐化方法对所述参考图像进行锐化； 由连 接到图像锐。

14、化装置的边缘活动映射装置确定所述参考图像的通过所述至少一种锐化方法 的每个锐化图像的边缘活动映射(x， y)； 以及由连接到权重装置和边缘活动映射装置的 边缘清晰度度量装置， 基于权重映射和所述参考图像的通过所述至少一种锐化方法的每个 锐化图像的边缘活动映射， 确定所述参考图像的通过所述至少一种锐化方法的每个锐化图 像的边缘清晰度度量(ESM)。 说明书 1/15 页 5 CN 111311533 A 5 附图说明 0007 通过以下结合附图的详细描述， 本公开的特定实施例的以上和其他方面、 特征和 优点将更加清楚， 其中： 0008 图1是根据实施例的用于确定图像清晰度的设备的框图； 000。

15、9 图2是根据实施例的图1的权重生成器的框图； 0010 图3是根据一个实施例的确定图像清晰度的方法的流程图； 0011 图4是根据一个实施例的应用了本公开的设备和方法的网络环境中的电子装置的 框图； 0012 图5是根据一个实施例的应用了本公开的设备和方法的相机模块的框图； 0013 图6是根据一个实施例的应用了本公开的设备和方法的显示装置的框图； 以及 0014 图7是根据一个实施例的应用了本公开的设备和方法的程序的框图。 具体实施方式 0015 在下文中， 参照附图详细描述本公开的实施例。 应当注意， 尽管相同的元件在不同 的附图中示出， 但是相同的元件将由相同的参考标号表示。 在下面的。

16、描述中， 诸如详细配置 和组件的具体细节仅被提供以帮助对本公开的实施例的总体理解。 因此， 本领域技术人员 应该清楚， 在不脱离本公开的范围的情况下， 可对在此描述的实施例进行各种改变和修改。 此外， 为了清楚和简洁， 省略了对公知的功能和构造的描述。 下面描述的术语是考虑到本公 开中的功能而定义的术语， 并且可根据用户、 用户的意图或习惯而不同。 因此， 术语的定义 应基于贯穿本说明书的内容来确定。 0016 本公开可具有各种修改和各种实施例， 其中， 下面参照附图详细描述实施例。 然 而， 应当理解， 本公开不限于实施例， 而是包括在本公开的范围内的所有修改、 等同物和替 换。 0017 。

17、尽管包括序数(诸如， 第一、 第二等)的术语可用于描述各种元件， 但是结构元件不 受术语的限制。 所述术语仅用于将一个元件与另一个元件区分开。 例如， 在不脱离本公开的 范围的情况下， 第一结构元件可被称为第二结构元件。 类似地， 第二结构元件也可被称为第 一结构元件。 如在此使用的， 术语 “和/或” 包括一个或多个相关项的任何组合和所有组合。 0018 在此使用的术语仅用于描述本公开的各种实施例， 而不意图限制本公开。 除非上 下文另有明确指示， 否则单数形式也意图包括复数形式。 在本公开中， 应当理解， 术语 “包 括” 或 “具有” 指示存在特征、 数量、 步骤、 操作、 结构元件、 。

18、部件或它们的组合， 并且不排除存 在或可能添加一个或多个其他特征、 数量、 步骤、 操作、 结构元件、 部件或它们的组合。 0019 除非以不同的方式定义， 否则在此使用的所有术语具有与本公开所属领域的技术 人员理解的含义相同的含义。 除非在本公开中清楚地定义， 否则术语(诸如在通用字典中定 义的那些术语)将被解释为具有与它们在相关技术领域的上下文的含义相同的含义， 并且 不被解释为具有理想化或过于形式化的含义。 0020 需要一种从人类视觉系统(human vision system， HVS)的复杂建模导出的客观图 像质量测量设备和方法， 以自动地评估图像， 即使这样的设备和方法不能完美地。

19、反映主观 HVS偏好。 本公开公开一种基于边缘活动映射(edge activity map)来确定图像的清晰度水 平的设备和方法。 确定图像的清晰度水平的益处是能够考虑噪声和清晰度两者来测量图像 说明书 2/15 页 6 CN 111311533 A 6 质量。 0021 通过增强由于用于获得图像的相机传感器的限制而劣化的边缘和纹理区域来对 图像进行锐化是提高图像的质量的最有效的方法之一， 其中， 锐化的图像向观看者呈现更 逼真的图像。 然而， 折中之处在于锐化的图像可能比未锐化的图像具有更多的噪声。 虽然人 类容易区分噪声分量与纹理分量， 但是因为噪声分量和纹理分量都具有精细的像素波动和 振。

20、动， 因此机器难以区分噪声分量与纹理分量。 因此， 以客观的方式测量图像的清晰度是挑 战性的。 尽管存在PSNR、 SSIM和若干锐化度量来计算图像特征， 但它们大多不产生符合图像 的实际人类感知的结果。 0022 客观图像度量可分为全参考度量(full reference metrics)、 测试图表度量 (test chart metrics)和无参考度量。 0023 如果完全满足人眼的图像被提供， 则人可通过并排比较来确定图像质量。 尽管不 可能获得完美的图像， 但在某些情况下可获得具有足够高质量的地面真值(ground truth， GT)图像。 当GT图像被提供时， PSNR和SSI。

21、M是最常用的全参考度量。 此外， 不同于使用PSNR来 计算物理强度差(physical intensity difference)， 已知的用于产生更符合人类感知的 结果的SSIM测量三个基本方面： 亮度(均值，x)、 对比度(标准差， x)和结构(正态分布， (x- x)/ x)。 这三个方面的组合在下面的等式(1)中被表示为： 0024 0025 其中， X和Y分别指示GT图像和测试图像， xy指示X与Y的相关系数， 并且C1、 C2和C3是 当分母非常接近零时防止不稳定的常数。 SSIM指数比像素差方法(诸如， PSNR或均方差 (MSE)更符合人类感知。 全参考度量的缺点是： 在大多。

22、数情况下， 好的GT图像无法获得。 因 为对GT图像和测试图像的处理是基于每个像素进行的， 所以为了使用全参考度量， GT图像 必须与测试图像完全对齐。 此外， 因为清晰度主要取决于边缘和边界， 而边缘和边界是整个 图像的一小部分， 所以SSIM不能有效地测量清晰度质量。 大多数图像区域由平滑区域组成。 因此， SSIM指数主要由平滑区域中的噪声水平确定。 0026 另一种测量清晰度质量的方法是使用测试图表。 纹理调制传递函数(Texture modulation transfer function， 纹理-MTF)使用作为自然细节场景的组合的测试图像测 试图表来考虑边缘和精细细节区域两者， 。

23、例如， 测试图像可以是死叶(dead leaves)(或者 溢出硬币(spilled-coins)。 如下面的等式(2)中所示， 纹-MTF被定义为GT图像与目标图 像之间的功率谱(power spectrum)： 0027 0028 其中， I(m， n)和G(m， n)是i(x， y)和g(x， y)的离散傅里叶变换(DFT)， i(x， y)是目标 图像， g(x， y)是GT图像。 得到的二维(2D)纹理-MTF通过径向平均(radial-average)被转换 为一维(1D)MTFtex(v)， 其中， 在径向平均中，与一维图形线纹理-MTF一 起， 通过经由对比度灵敏度函数(con。

24、trast sensitivity function， CSF)对纹理-MTF进行 加权来计算总度量， 即， 锐度(acutance， 在下面的等式(3)中表示为 )： 说明书 3/15 页 7 CN 111311533 A 7 0029 0030 由于纹理-MTF和锐度是专用的清晰度度量， 因此它们比SSIM表现得更好。 此外， 它 们不像SSIM那样需要每个像素处理的完美对齐。 然而， 测试图表度量有一个缺点： 它们不能 测量普通用户拍摄的典型图像的图像质量(IQ)。 无参考度量的优点在于： 能够在不需要参 考图像的情况下提供图像的IQ数。 在各种无参考度量中， 清晰度测量被分为5个类别：。

25、 基于 梯度的类别、 基于边缘的类别、 基于相关性的类别、 基于统计学的类别和基于变换的类别。 在这5种类别之中， 基于边缘的测量是最常用的方法。 除相位检测自动对焦(PDAF)外， 相机 中的大多数自动对焦系统都基于索贝尔(Sobel)边缘和梯度， 如下面的等式(4)中所示， 其 中， N是宽度， M是高度， I(x， y)是图像i(x， y)的离散傅里叶变换， (x， y)是从垂直Sobel值 Gv(x， y)和水平Sobel值Gh(x， y)的大小获得的Sobel映射： 0031 0032 0033 SMN(x， y) 0034其中， 0035 如上所公开的， 全参考度量和测试图表度量对。

26、于典型图像是没用的， 而无参考度 量可用于平均快照图像(average snapshot image)。 然而， 存在一个缺点： 无参考度量仅从 清晰度的角度来观察图像质量， 这可能并不总是产生符合人类感知的结果， 因为图像清晰 度和噪声是折衷的； 越锐利， 噪声越大。 0036 在一个实施例中， 设备和方法通过考虑图像的平整(例如， 平滑)区域和细节区域 两者来确定用于测量对应于实际视觉冲击的清晰度的度量(例如， 边缘清晰度度量(ESM)。 0037 如下面的等式(5)中所示， ESM由平滑区域得分(Ss)和细节区域得分(Sd)两部分组 成： 0038 SSd-Ss.(5) 0039 好的图。

27、像锐化方法应该提高细节区域中的图像清晰度， 而不应该提高平整区域或 平滑区域中的图像清晰度。 不幸的是， 如上面的等式(4)中描述的图像清晰度度量不区分平 滑区域和细节区域。 例如， 可提供输入图像和在输入图像中的整个区域上具有添加的高斯 白噪声(AWGN)的输入图像。 可使用锐化方法对输入图像进行锐化。 可针对输入图像、 具有 AWGN的输入图像和锐化的输入图像中的每个生成上面的等式(4)的清晰度度量。 根据通过 上面的等式(4)生成的清晰度度量值， 可将具有AWGN的输入图像确定为表现出最佳质量(例 如， 最高清晰度度量值)。 这个结果可不符合人类感知， 其中， 输入图像的锐化图像可被感知。

28、 为表现出最佳质量。 0040 由于不期望增加平滑区域中的清晰度， 如下面的等式(6)中所示， 所以上面的等式 说明书 4/15 页 8 CN 111311533 A 8 (5)对Ss施加惩罚： 0041 0042 其中， W(x， y)是针对图像宽度N和高度M的具有介于-1 1之间的值的权重映射。 平滑区域可具有负的W(x， y)， 而细节区域可具有正的W(x， y)。 如在下面的等式(7)中， (x， y)是从垂直Sobel值和水平Sobel值的大小获得的Sobel映射： 0043 0044 其中， Gv和Gh如上面的等式(4)所示来定义。 0045 如下所述生成权重映射。 ESM需要从例。

29、如照片获得的参考图像(例如， 输入图像)。 ESM的目的是通过具有相同输入的各种锐化方法来比较图像质量。 如下面的等式(8)中所 示， 初始步骤是使用每个像素的Sobel算子从参考图像构建边缘活动映射(例如， Sobel映 射)： 0046 0047 0048 0049 接下来， 确定边缘活动映射的概率密度函数(PDF)。 然后， 从PDF确定累积密度函数 (CDF)。 图像被划分为平滑区域和细节区域。 在一个实施例中， 小于阈值的处理像素的CDF值 指示平滑区域， 大于阈值的处理像素的CDF值指示细节区域。 如果阈值被设置为0.5， 则可在 平滑区域和细节区域之间均匀地划分图像。 0050 。

30、获得参考图像的边缘活动映射和权重映射。 从尚未锐化的参考图像计算边缘活动 映射。 当阈值是作为Sobel CDF的中值点的0.5时， 区域在平滑区域与细节区域之间被均匀 地划分。 因此， 如果Sobel值小于中值， 则它是平滑区域； 如果Sobel值大于中值， 则它是细节 区域。 在权重映射中， 细节区域分配正权重值， 而平滑区域分配负权重值。 0051 如下所述地分配介于-1 1之间的权重值。 可使用如下面的等式(9)中所表示的S 型(sigmoid)函数， 其中， S型函数从0处的下渐近线缓慢增加到1处的上渐近线。 0052 0053 如下面的等式(10)中所示， 权重函数 ()产生介于-。

31、1 1之间的值： 0054 0055 其中， 和 是用于调整权重函数的形状的参数。 是一个斜率参数。 随着 减小， 斜 率变得更陡。 例如， 10可以是提供良好斜率的适当值， 是定中心(centering)参数。 随着 减少， 细节区域中的权重增加。 如果将在平滑区域与细节区域之间均匀地划分图像， 则设 说明书 5/15 页 9 CN 111311533 A 9 置 0.5。 0056 CDF可由函数F()表示， 并且参考图像R(x， y)的Sobel映射的CDF是F(R(x， y)。 如下面的等式(11)中所示， 通过将F(R(x， y)和等式(10)进行组合来表示每个像素 (x， y)的权。

32、重映射W(x， y)： 0057 0058 其中， 10， 0.5。 0059 ESM用于比较多种锐化方法的性能。 为了找到对输入图像(例如， 参考图像)进行最 佳锐化的方法， 首先从参考图像确定权重映射。 然后， 确定每个锐化图像的边缘活动映射， 其中， 例如， 1(x， y)是第一图像Q1的边缘活动映射， 其中， 第一图像Q1是参考图像的使用第 一锐化方法的锐化图像， 而2(x， y)是第二图像Q2的边缘活动映射， 其中， 第二图像Q2是参 考图像的使用第二锐化方法的锐化图像， 第二锐化方法与用于生成Q1的第一锐化方法不 同。 然后， 如下面的等式(12)和(13)中所示， 可使用上面的等。

33、式(6)来分别确定Q1和Q2的ESM 数S1和S2： 0060 0061 0062 越高的ESM数指示考虑平滑区域和细节区域两者的越好的锐化性能。 同样， 用于参 考图像的相同的W(x， y)用于S1和S2， 而不使用用于参考图像的R(x， y)， 1用于第一图像 Q1， 2用于第二图像Q2。 0063 如果没有参考图像而仅有第一图像Q1和第二图像Q2， 则如下面的等式(14)和(15) 来计算Q1和Q2的ESM： 0064 式(14)和式(15)中计算用于Q1和Q2的ESM： 0065 0066 0067 其中， W1如在下面的等式(16)中所示： 0068 0069 等式(14)和(16)。

34、中的1相同。 因此， 可在没有参考图像的情况下获得ESM得分。 0070 参考图像可以是整个图像或子图像。 当测量整个图像的ESM时， 参考图像是整个图 像。 当测量子图像的ESM时， 参考图像是子图像。 0071 本公开提供用于确定锐化度量(例如， ESM)的设备和方法。 ESM不与SSIM或PSNR一 样需要在大多数情况下难以获得的GT图像， 并且不与纹理MTF或锐度一样需要测试图表。 因 说明书 6/15 页 10 CN 111311533 A 10 此， 本公开能够测量任何类型的图像的清晰度质量， 并且提供比清晰度的常规度量更精确 的与人类感知对应的度量。 0072 图1是根据实施例的。

35、用于确定图像清晰度的设备100的框图。 0073 参照图1， 设备100包括第一边缘活动映射装置111、 概率密度函数装置103、 累积密 度函数装置105、 权重装置107、 图像锐化装置109、 第二边缘活动映射装置101和ESM装置 113。 0074 图像锐化装置109包括输入以及输出125， 该输入连接到第二边缘活动映射装置 101的输入115， 以接收待锐化的图像(例如， 参考图像IR(x， y)， 输出125用于输出参考图像 的锐化版本。 图像锐化装置109包括对图像进行锐化的方法。 在一个实施例中， 图像锐化装 置109包括多于一种的锐化方法， 其中， 锐化方法彼此不同。 使用。

36、多于一种的锐化方法中的 每种， 锐化方法可用于对参考图像IR(x， y)进行锐化， 以确定哪种锐化方法产生最锐化的图 像。 例如， 图像锐化装置109可包括两种不同的锐化方法， 以锐化出两个图像来分别产生Q1 和Q2， 其中， Q1和Q2是参考图像IR(x， y)的两个锐化图像。 锐化方法可包括拉普拉斯锐化方法 (Laplacian sharpening method)和边缘保持锐化方法(edge preserving sharpening method)中的至少一种。 然而， 本公开的设备100不限于使用这两种锐化方法， 而是可使用任 何锐化方法。 0075 第一边缘活动映射装置111包括输。

37、入以及输出127， 该输入连接到图像锐化装置 109的输出125， 以接收锐化图像(或者， 如果图像锐化装置109使用多于一种的锐化方法， 则 接收多于一个的锐化图像)， 输出127用于输出锐化图像的边缘活动映射(x， y)(或者， 如 果多于一个的图像被锐化， 则输出每个锐化图像的边缘活动映射(例如， 如果针对两个锐化 图像Q1和Q2分别确定两个边缘活动映射， 则输出1(x， y)和2(x， y)。 在一个实施例中， 第一边缘活动映射装置111可如上面的等式(7)中定义地针对锐化的每个图像输出Sobel映 射。 0076 ESM装置113包括第一输入、 第二输入以及输出， 第一输入连接到权重。

38、装置107的输 出123， 以接收权重映射W(x， y)， 第二输入连接到第一边缘活动映射装置111的输出127， 以 接收边缘活动映射(x， y)或者如果多于一个的图像被锐化则接收锐化的每个图像的每个 边缘活动映射， 该输出用于输出如上面的等式(6)中的边缘清晰度度量S(如果多于一个的 图像被锐化， 则输出多于一个的边缘清晰度度量(例如， 针对Q1和Q2的S1和S2)， 边缘清晰度 度量指示锐化图像的清晰度(或者， 如果多于一个的图像被锐化， 则指示多于一个的图像的 清晰度)。 0077 第二边缘活动映射装置101包括输入115和输出117， 输入115用于接收输入图像 (例如， 参考图像I。

39、R(x， y)， 其中， x是参考图像在水平方向上的像素， y是参考图像在垂直方 向上的像素)， 输出117用于输出参考图像的边缘活动映射R(x， y)。 在一个实施例中， 第二 边缘活动映射装置101可输出如上面的等式(8)中定义的Sobel映射。 0078 概率密度函数装置103包括输入以及输出119， 该输入连接到第二边缘活动映射装 置101的输出117， 以接收边缘活动映射， 输出119用于输出边缘活动映射R(x， y)的PDF。 0079 累积密度函数装置105包括输入以及输出121， 该输入连接到概率密度函数装置 103的输出119， 以接收边缘活动映射的PDF， 输出121用于输。

40、出PDF的CDF。 0080 权重装置107包括输入以及输出123， 该输入连接到累积密度函数装置105的输出 说明书 7/15 页 11 CN 111311533 A 11 121， 以接收CDF， 输出123用于输出权重映射W(x， y)， 根据上面的等式(10)中的权重函数 (t)， 权重映射W(x， y)具有在-1 1之间的值。 0081 图2是根据实施例的图1的权重装置107的框图。 0082 参照图2， 权重装置107包括S型装置201和权重映射器装置203。 0083 S型装置201包括用于接收CDF的第一输入121、 用于接收参数 的第二输入205、 用 于接收参数 的第三输入。

41、207以及用于输出sgn( (t- )的输出123。 参数 调整上面的等式 (10)中的权重函数 (t)的斜率。 参数 是用于在平滑区域与细节区域之间划分图像的定中 心参数， 其中， 随着 减小， 细节区域中的权重增加。 例如， 如上面的等式(11)中， 10可以 是提供良好斜率的适当值， 并且将 设置为0.5将在平滑区域与细节区域之间均匀地划分图 像。 0084 权重映射器装置203包括输入以及输出123， 该输入连接到S型装置201的输出端 209， 以接收sgn( (t- )， 输出123用于输出例如如上面的等式(11)中所示的权重映射W(x， y)。 0085 图3是根据一个实施例的确。

42、定图像清晰度的方法的流程图。 0086 参照图3， 在301， 由第二边缘活动映射装置针对输入图像(例如， 参考图像IR(x， y)， 其中， x是参考图像在水平方向上的像素， y是参考图像在垂直方向上的像素)确定第一 边缘活动映射R(x， y)。 在一个实施例中， 第一边缘活动映射可以是如上面在等式(8)中定 义的Sobel映射。 0087 在303， 由概率密度函数装置确定第一边缘活动映射R(x， y)的PDF。 0088 在305， 由累积密度函数装置针对PDF确定CDF。 0089 在307， 由权重装置从CDF根据上面的等式(10)中的权重函数 (t)确定具有-1 1 之间的值的权重。

43、映射W(x， y)。 0090 在309， 通过图像锐化装置的至少一种锐化方法对参考图像进行锐化。 锐化方法可 包括拉普拉斯锐化方法和边缘保持锐化方法。 然而， 本公开的方法不限于使用这两种锐化 方法， 而是可使用任何锐化方法。 0091 在311， 由第一边缘活动映射装置从至少一个锐化的图像确定至少一个第二边缘 活动映射。 在一个实施例中， 至少一个第二边缘活动映射可以是如上面在等式(8)中定义的 针对每个锐化的图像的Sobel映射。 0092 在313， 由ESM装置从权重映射W(x， y)和至少一个第二边缘活动映射确定如上面的 等式(6)中的至少一个边缘清晰度度量S。 0093 图4是示。

44、出根据各种实施例的网络环境400中的电子装置401的框图。 0094 参照图4， 网络环境400中的电子装置401可经由第一网络498(例如， 短距离无线通 信网络)与电子装置402通信， 或者经由第二网络499(例如， 长距离无线通信网络)与电子装 置404或服务器408通信。 电子装置401可经由服务器408与电子装置404通信。 电子装置401 可包括处理器420、 存储器430、 输入装置450、 声音输出装置455、 显示装置460、 音频模块 470、 传感器模块476、 接口477、 触觉模块479、 相机模块480、 电源管理模块488、 电池489、 通 信模块490、 用户。

45、识别模块(SIM)496或天线模块497。 在一些实施例中， 可从电子装置401省 略多个组件中的至少一个(例如， 显示装置460或相机模块480)， 或者可在电子装置401中添 加一个或多个其他组件。 多个组件中的一些可被实现为单个集成电路。 例如， 传感器模块 说明书 8/15 页 12 CN 111311533 A 12 476(例如， 指纹传感器、 虹膜传感器或照度传感器)可被实现为嵌入在显示装置460(例如， 显示器)中。 0095 处理器420可执行例如软件(例如， 程序440)以控制电子装置401的与处理器420结 合的至少一个其他组件(例如， 硬件或软件组件)， 并且可执行各种。

46、数据处理或计算。 作为数 据处理或计算的至少部分， 处理器420可将从另一组件(例如， 传感器模块476或通信模块 490)接收的命令或数据加载到易失性存储器432中， 处理存储在易失性存储器432中的命令 或数据， 并将结果数据存储在非易失性存储器434中。 处理器420可包括主处理器421(例如， 中央处理器(CPU)或应用处理器(AP)和辅助处理器423(例如， 图形处理器(GPU)、 图像信号 处理器(ISP)、 传感器集线器处理器或通信处理器(CP)， 辅助处理器423可独立于主处理器 421进行操作， 或者与主处理器421协同操作。 附加地或可选地， 辅助处理器423可适于消耗 比。

47、主处理器421更少的功率， 或者专门用于特定功能。 辅助处理器423可被实现为与主处理 器421分离， 或者作为主处理器421的部分。 0096 辅助处理器423可在主处理器421处于非活动(例如， 睡眠)状态时代替主处理器 421， 或者在主处理器421处于活动状态(例如， 执行应用)时与主处理器421一起控制与电子 装置401的多个组件之中的至少一个组件(例如， 显示装置460、 传感器模块476或通信模块 490)相关的功能或状态中的至少一些。 辅助处理器423(例如， 图像信号处理器或通信处理 器)可被实现为与辅助处理器423功能上相关的另一组件(例如， 相机模块480或通信模块 49。

48、0)的部分。 0097 存储器430可存储由电子装置401的至少一个组件(例如， 处理器420或传感器模块 476)使用的各种数据。 例如， 各种数据可包括软件(例如， 程序440)和与之相关的命令的输 入数据或输出数据。 存储器430可包括易失性存储器432或非易失性存储器434。 0098 程序440可作为软件存储在存储器430中， 并且可包括例如操作系统(OS)442、 中间 件444或应用446。 0099 输入装置450可从电子装置401的外部(例如， 用户)接收将由电子装置401的其他 组件(例如， 处理器420)使用的命令或数据。 例如， 输入装置450可包括麦克风、 鼠标、 键。

49、盘或 数字笔(例如， 触笔)。 0100 声音输出装置455可将声音信号输出到电子装置401的外部。 例如， 声音输出装置 455可包括扬声器或接收器。 扬声器可用于一般目的(诸如， 播放多媒体或播放记录)， 接收 器可用于来电呼叫。 根据一个实施例， 接收器可被实现为与扬声器分离或者作为扬声器的 部分。 0101 显示装置460可在视觉上向电子装置401的外部(例如， 用户)提供信息。 例如， 显示 装置460可包括显示器、 全息图装置或投影仪以及用于控制显示器、 全息图装置和投影仪中 的相应一个的控制电路。 显示装置460可包括适于检测触摸的触摸电路， 或者适于测量由触 摸引起的力的强度的。

50、传感器电路(例如， 压力传感器)。 0102 音频模块470可将声音转换成电信号， 反之亦然。 音频模块470可经由输入装置450 获得声音， 或者经由声音输出装置455或者直接(例如， 有线地)或者无线地与电子装置401 结合的外部电子装置(例如， 电子装置402)的耳机来输出声音。 0103 传感器模块476可检测电子装置401的操作状态(例如， 功率或温度)或电子装置 401外部的环境状态(例如， 用户的状态)， 然后生成与检测的状态相对应的电信号或数据 说明书 9/15 页 13 CN 111311533 A 13 值。 例如， 传感器模块476可包括姿态传感器、 陀螺仪传感器、 大气。