《图像构图评估装置、信息处理装置及其方法.pdf》由会员分享，可在线阅读，更多相关《图像构图评估装置、信息处理装置及其方法.pdf（32页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104346801 A (43)申请公布日 2015.02.11 CN 104346801 A (21)申请号 201310334287.7 (22)申请日 2013.08.02 G06T 7/00(2006.01) G06T 7/60(2006.01) (71)申请人 佳能株式会社 地址 日本东京 (72)发明人 吕尤 姜涌 吴波 李献 (74)专利代理机构 中国国际贸易促进委员会专 利商标事务所 11038 代理人 罗银燕 (54) 发明名称 图像构图评估装置、 信息处理装置及其方法 (57) 摘要 本发明公开了图像构图评估装置、 信息处理 装置及其方法。图像构图。
2、评估装置包括 ： 区域分 割单元， 被配置成将图像分割成多个区域 ； 区域 属性提取单元， 被配置成从每一个区域提取至少 一个属性 ； 区域关系描述单元， 被配置成基于提 取的属性来描述区域之间的关系 ； 以及构图评估 单元， 被配置成基于提取的属性、 描述的关系和至 少一个预设的准则来评估图像的构图。本发明能 够对更多类型的图像和 / 或更多类型的构图问题 进行评估。 (51)Int.Cl. 权利要求书 2 页 说明书 14 页 附图 15 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书14页 附图15页 (10)申请公布号 CN 104346801 。
3、A CN 104346801 A 1/2 页 2 1. 一种图像构图评估装置， 包括 ： 区域分割单元， 被配置成将图像分割成多个区域 ； 区域属性提取单元， 被配置成从每一个区域提取至少一个属性 ； 区域关系描述单元， 被配置成基于提取的属性来描述区域之间的关系 ； 以及构图评估 单元， 被配置成基于提取的属性、 描述的关系和至少一个预设的准则来评估图像的构图。 2. 如权利要求 1 所述的装置， 其中， 在区域分割单元中， 采用过分割方法将图像分割成 所述多个区域。 3. 如权利要求 2 所述的装置， 其中， 过分割方法是 Felzenszwalb 方法或 SLIC 方法。 4. 如权利要。
4、求 1 所述的装置， 其中， 区域属性提取单元进一步包括以下单元 ： 区域特征提取单元， 被配置成从每一个区域提取至少一个特征 ； 区域分类单元， 被配置成基于提取的所述至少一个特征和训练后的模型将每一个区域 分类成预设的类别 ； 以及区域属性收集单元， 被配置成为每一个区域收集所述至少一个属 性。 5. 如权利要求 4 所述的装置， 其中， 在区域分类单元中， 采用递归神经网络方法将每一 个区域分类成预设的类别。 6. 如权利要求 4 所述的装置， 其中， 区域属性提取单元进一步包括以下单元 ： 区域更新单元， 被配置成在为每一个区域收集所述至少一个属性之后， 合并隔离区域 并更新区域属性。。
5、 7. 如权利要求 6 所述的装置， 其中， 区域更新单元在合并隔离区域之后且在更新区域 属性之前， 进一步使区域之间的边界平滑化。 8. 如权利要求 6 所述的装置， 其中， 当在区域更新单元中更新区域属性时， 如果被合并 成一个区域的多个区域具有多于一个的类别， 那么合并后的所述一个区域的类别是该多个 区域中的最多数区域具有的类别。 9. 如权利要求 1 所述的装置， 其中， 区域关系描述单元进一步包括以下单元中的至少 一个 ： 相对位置计算单元， 被配置成基于距离、 相邻关系和对称性来计算区域的相对位置 ； 以 及协调度计算单元， 被配置成基于相对面积比例、 颜色匹配和区域复杂度来计算区。
6、域之间 的协调度。 10. 如权利要求 1 所述的装置， 其中， 构图评估单元能够针对所述至少一个预设的准则 来找到图像中的构图问题的位置和原因。 11. 如权利要求 1 所述的装置， 进一步包括以下单元 ： 构图问题通知单元， 被配置成在基于提取的属性、 描述的关系和至少一个预设的准则 来评估图像的构图之后， 输出并通知评估出的构图问题。 12. 如权利要求 1 至 11 中任一项所述的装置， 其中， 所述图像是摄影图像。 13.如权利要求1至11中任一项所述的装置， 其中， 提取的属性和描述的关系取决于所 述至少一个预设的准则。 14. 如权利要求 1 至 11 中任一项所述的装置， 其中。
7、， 提取的属性包括类别、 位置、 尺寸、 颜色和纹理中的至少一种。 15. 如权利要求 1 至 11 中任一项所述的装置， 其中， 描述的关系包括相对位置、 相对面 权 利 要 求 书 CN 104346801 A 2 2/2 页 3 积比例、 颜色匹配和纹理匹配中的至少一种。 16. 如权利要求 1 至 11 中任一项所述的装置， 其中， 所述至少一个预设的准则包括头 上有对象、 区域尺寸判断、 主要对象位置判断、 吻边、 靠近边界、 中分和颜色匹配中的至少一 种。 17. 一种信息处理装置， 包括如权利要求 1 至 16 中任一项所述的图像构图评估装置。 18. 一种图像构图评估方法， 包。
8、括 ： 将图像分割成多个区域 ； 从每一个区域提取至少一个属性 ； 基于提取的属性来描述区域之间的关系 ； 以及基于提取的属性、 描述的关系和至少一 个预设的准则来评估图像的构图。 19. 一种信息处理方法， 包括如权利要求 18 所述的图像构图评估方法。 权 利 要 求 书 CN 104346801 A 3 1/14 页 4 图像构图评估装置、 信息处理装置及其方法 技术领域 0001 本发明一般涉及图像处理和计算机视觉的领域， 尤其涉及图像构图评估装置、 信 息处理装置及其方法。 背景技术 0002 图像的质量不仅由其内容决定， 而且还由其构图决定。以摄影图像作为例子。许 多相片包含了人们。
9、希望拍摄的景物， 但是， 由于各种构图问题， 它们看起来仍无吸引力。由 于构图对于初学者而言太复杂， 所以大多数初学者需要智能照相机来帮助他们得到较好的 相片。 0003 为了应对该情形， Fujifilm 已经提出具有人体构图判断 （HumanComposition Judgment） 的成像装置， 其能够基于人体提取结果来判断构图是否合适。图 1 和图 2 3 分 别示出 Fujifilm 的人体构图判断方法的示意图和流程图。如图 2 所示， 首先， 在步骤 210 处， 基于图像中的脸部检测来提取人体对象 （在图 1 中用实线的长方形示出人体对象提取 结果） 。接下来， 在步骤 220 。
10、处， 基于图像中的除人体对象提取区域之外的区域中的特殊对 象检测来提取非人体对象 （在图1中用多边形示出非人体对象提取结果） 。 最后， 在步骤230 处， 基于对象的重心是否在图像的预定区域之内来评估布置平衡性。图 3 给出了布置平衡 性评估步骤的更详细的流程图。如图 3 所示， 在步骤 310 和 320 处， 分别计算每个人体对象 的重心和每个非人体对象的重心 ； 然后， 在步骤 340 处， 对该重心是否在图像的预定区域之 内进行判断。同时， 在步骤 330 处， 基于步骤 310 和 320 的结果来计算整个的人体及非人体 对象的重心 ； 然后， 在步骤350处， 对该重心是否远离图。
11、像的中心区域进行判断。 最后， 在步 骤 360 处， 基于步骤 340 和 350 的结果对布置平衡性是否合适进行评估。在图 1 所示的例 子中， 实线的长方形内的十字指示提取的人体对象的重心， 多边形内的十字指示提取的非 人体对象的重心， 十字 A 指示整个的人体及非人体提取对象的重心， 十字 B 指示图像中心。 结果， 评估得出图 1 所示的图像的构图并不好 （即， 重心 A 低） ， 由此提议画面可以被变焦到 图 1 中虚线的长方形所示的位置， 以使得重心 A 不远离图像中心 B。 0004 然而， 以上的人体构图判断方法具有许多限制。 0005 首先， 这样的方法仅能够应对具有检测到。
12、的人脸的相片。这意味着根本就不能对 诸如无特殊对象的风景相片 （参见图 25C） 、 无人体的对象相片 （参见图 25D 25E） 、 以及甚 至无脸部的人体背侧相片 （参见图 25B） 的其它相片进行评估。 0006 其次， 这样的方法仅能够有助于使人体对象在图像的中心区域中， 其对于良好的 构图而言并不足够。例如， 由于该方法不关心人体对象的比例， 因此人体对象可能不显著 （参见图 25B） ； 由于该方法不关心人体对象和非人体对象之间的关系， 因此人体位置可能令 人不舒服 （参见图 25A） ； 由于该方法不关心背景环境， 因此可能由于不成比例的背景而导致 不合理的构图 （参见图 25D。
13、） 等。 0007 因此， 希望能够提供一种新的图像构图评估装置及其方法， 其能够对更多类型的 图像和 / 或更多类型的构图问题进行评估。 说 明 书 CN 104346801 A 4 2/14 页 5 发明内容 0008 鉴于以上问题中的至少一个提出本发明。 0009 本发明的一个目的是提供一种新的图像构图评估装置、 新的信息处理装置、 新的 图像构图评估方法和新的信息处理方法。 0010 本发明的另一目的是提供一种图像构图评估装置、 信息处理装置、 图像构图评估 方法和信息处理方法， 其能够评估更多类型的图像， 包括无特殊对象的风景图像、 无人体的 对象图像、 无脸部的人体背侧图像等。 0。
14、011 本发明的又一目的是提供一种图像构图评估装置、 信息处理装置、 图像构图评 估方法和信息处理方法， 其能够评估更多类型的构图问题， 包括头上有对象 （object on head） 、 区域尺寸判断、 主要对象位置判断、 吻边 （kissing border） 、 靠近边界、 中分 （middle separation） 、 颜色失配等。 0012 根据本发明的第一方面， 提供一种图像构图评估装置， 其包括 ： 区域分割单元， 被 配置成将图像分割成多个区域 ； 区域属性提取单元， 被配置成从每一个区域提取至少一个 属性 ； 区域关系描述单元， 被配置成基于提取的属性来描述区域之间的关系。
15、 ； 以及构图评 估单元， 被配置成基于提取的属性、 描述的关系和至少一个预设的准则来评估图像的构图。 0013 根据本发明的第二方面， 提供一种信息处理装置， 其包括如上所述的图像构图评 估装置。 0014 根据本发明的第三方面， 提供一种图像构图评估方法， 其包括 ： 将图像分割成多个 区域 ； 从每一个区域提取至少一个属性 ； 基于提取的属性来描述区域之间的关系 ； 以及基 于提取的属性、 描述的关系和至少一个预设的准则来评估图像的构图。 0015 根据本发明的第四方面， 提供一种信息处理方法， 其包括如上所述的图像构图评 估方法。 0016 由于以上特征， 本发明的图像构图评估装置、 。
16、信息处理装置、 图像构图评估方法和 信息处理方法能够评估更多类型的图像， 包括无特殊对象的风景图像、 无人体的对象图像、 无脸部的人体背侧图像等。 0017 此外， 由于以上特征， 本发明的图像构图评估装置、 信息处理装置、 图像构图评估 方法和信息处理方法能够评估更多类型的构图问题， 包括头上有对象、 区域尺寸判断、 主要 对象位置判断、 吻边、 靠近边界、 中分、 颜色失配等。 0018 从参照附图对示例性实施例的以下详细描述， 本发明的进一步的目的、 特征和优 点将变得明显。 附图说明 0019 被包含于说明书中并构成其一部分的附图示出本发明的实施例， 并与描述一起用 于解释本发明的原理。
17、。 0020 图 1 是 Fujifilm 的人体构图判断方法的示意图 ； 0021 图 2 示意性地示出 Fujifilm 的人体构图判断方法的流程图 ； 0022 图 3 示意性地示出 Fujifilm 的人体构图判断方法的布置平衡性评估步骤的流程 图 ； 说 明 书 CN 104346801 A 5 3/14 页 6 0023 图 4A 4D 示意性地示出 Fujifilm 的人体构图判断方法的例子 ； 0024 图 5 是能够实施根据本发明的图像构图评估方法和信息处理方法的计算设备的 硬件配置的示意性框图 ； 0025 图 6 示意性地示出根据本发明的图像构图评估方法的一般流程图 ； 。
18、0026 图 7 示意性地示出根据本发明的图像构图评估方法的区域属性提取步骤的流程 图 ； 0027 图 8 示 意 性 地 示 出 如 何 获 得 训 练 后 的 递 归 神 经 网 络 （RecursiveNeural Network,RNN） 模型 ； 0028 图 9 示意性地示出 RNN 训练步骤的流程图 ； 0029 图 10 示意性地示出根据本发明的区域属性提取步骤中的区域更新步骤的流程 图 ； 0030 图 11 示意性地示出在根据本发明的区域更新步骤中如何对隔离 （isolated） 区域 进行合并 ； 0031 图 12 示意性地示出在根据本发明的图像构图评估方法的构图评估。
19、步骤中如何检 测吻边问题 ； 0032 图 13 示意性地示出根据本发明的图像构图评估装置的一般框图 ； 0033 图 14 示意性地示出根据本发明的图像构图评估装置的区域属性提取单元的框 图 ； 0034 图 15 示意性地示出根据本发明的区域属性提取单元中的区域更新单元的框图 ； 0035 图 16A 16D 示意性地示出根据本发明的图像构图评估方法的例子 ； 0036 图 17A 17B 是 Felzenszwalb 过分割 （over-segmentation） 方法和 SLIC 过分割 方法的比较示意图 ； 0037 图 18 是 RNN 方法的示意图 ； 0038 图 19 是 R。
20、NN 训练输入的示意图 ； 0039 图 20 示意性地示出根据本发明的图像构图评估方法的区域属性提取步骤中的区 域分类步骤的结果 ； 0040 图 21 示意性地示出在根据本发明的区域属性提取步骤中如何计算尺寸属性 ； 0041 图 22A 22B 是根据本发明的区域属性提取步骤中的区域更新步骤的示意图 ； 0042 图 23 示意性地示出两个区域的相对位置 ； 0043 图 24 示意性地示出在根据本发明的构图评估步骤中如何检测头上有对象的问 题 ； 以及 0044 图25A25E示出通过根据本发明的图像构图评估方法检测到的一些示例性构图 问题。 具体实施方式 0045 下面将参照附图详细。
21、描述本发明的示例性实施例。应注意， 以下的描述在本质上 仅是解释性和示例性的， 决不意在限制本发明及其应用或使用。除非另外特别说明， 否则， 在实施例中阐述的组件和步骤的相对布置、 数字表达式以及数值并不限制本发明的范围。 另外， 本领域技术人员已知的技术、 方法和装置可能不被详细讨论， 但在合适的情况下意在 说 明 书 CN 104346801 A 6 4/14 页 7 成为说明书的一部分。 0046 如前所述， 人体构图判断方法是基于主要对象的 （尤其是基于人体对象的） ， 由此 具有许多限制 （例如， 其不能够对图 25A 25E 中的大多数图像和问题进行评估） 。在经过 广泛且深入的研。
22、究之后， 本发明的发明人已经找到一种新的基于图像区域的图像构图评估 方法， 其能够对几乎所有类型的图像和 / 或几乎所有类型的构图问题进行评估 （例如， 其能 够对图 25A 25E 中的所有图像和问题进行评估） 。为了进行简要比较， 图 4A 4D 和图 16A16D分别示意性地示出Fujifilm的人体构图判断方法的例子和根据本发明的图像构 图评估方法的例子。可以注意到， 图 4A 与图 16A 是同样的， 即， 要对构图进行评估的输入图 像是相同的。在图 4A 4D 的方法中， 首先， 提取人脸 （图 4B） ； 接下来， 计算身体重心， 如图 4C 的长方形中的十字所示 ； 最后， 评。
23、估得出身体重心低， 由此提出可以如图 4D 中虚线的长 方形所示的那样拍摄相片， 以使得身体重心在图像中心区域内。相比之下， 在图 16A 16D 的方法中， 首先， 将图像分割成多个区域 （图 16B） ； 接下来， 提取每一个区域内的属性并计算 区域之间的关系 （在图 16C 中， 为了清楚起见， 示出了分类后的区域的边缘） ； 最后， 评估得出 不仅人体低 （正如人体构图判断方法暗示的那样） ， 而且在图 16D 所示的椭圆中出现吻边问 题 （人体构图判断方法根本就不能检测到这样的构图问题） 。 0047 下面， 首先将参照图 5 描述可以实施根据本发明的图像构图评估方法和信息处理 方法。
24、的计算设备5000的示意性硬件配置。 为了简化的目的， 仅示出了一个计算设备。 然而， 在需要时也可以使用多个计算设备。 0048 如图 5 所示， 计算设备 5000 可包括 CPU5110、 芯片集 5120、 RAM5130、 存储控制器 5140、 显示控制器 5150、 硬盘驱动器 5160、 CD-ROM 驱动器 5170 以及显示器 5180。计算设 备 5000 还可包括连接在 CPU5110 和芯片集 5120 之间的信号线 5210、 连接在芯片集 5120 和 RAM5130 之间的信号线 5220、 连接在芯片集 5120 和各种外围设备之间的外围设备总线 5230、 。
25、连接在存储控制器 5140 和硬盘驱动器 5160 之间的信号线 5240、 连接在存储控制器 5140和CD-ROM驱动器5170之间的信号线5250、 以及连接在显示控制器5150和显示器5180 之间的信号线 5260。 0049 客户机 5300 可直接地或经由网络 5400 而被连接到计算设备 5000。客户机 5300 可发送图像构图评估任务和/或信息处理任务给计算设备5000， 并且计算设备5000可返回 图像构图评估结果和 / 或信息处理结果给客户机 5300。 0050 接下来， 将详细描述根据本发明的图像构图评估方法和信息处理方法。在本发明 中， 以摄影图像为例进行描述 ；。
26、 然而， 很明显， 本发明可以被应用于任何类型的图像。 0051 图 6 示意性地示出根据本发明的图像构图评估方法的一般流程图。 0052 如图 6 所示， 首先， 在步骤 610（区域分割步骤） 处， 将图像分割成多个区域 （参见 图 16B） 。 0053 分割方法不被特别限制， 只要将图像分割成多个不重叠的区域且所述多个 不重叠的区域整体上构成该图像即可。例如， 可以采用过分割方法， 以将图像分割成 多个被称为超像素 （super-pixel）的区域。每一个超像素内的像素非常相似。采用 的 过 分 割 方 法 可 以 是 Felzenszwalb 方 法 （可 以 参 见 Pedro F。
27、.Felzenszwalb,Daniel P.Huttenlocher,Efficient Graph-based Image Segmentation ,International Journal of Computer Vision,Vol.59,No.2,September2004） 、 SLIC 方 法 （可 以 参 见 说 明 书 CN 104346801 A 7 5/14 页 8 Radhakrishna Achanta,Appu Shaji,KevinSmith et al.,SLIC Superpixels ,EPFL Technical Report,No.149300,Ju。
28、ne2010） 等。图 17A 17B 分别示出 Felzenszwalb 过分 割方法和 SLIC 过分割方法。从图 17A 17B 的比较可以看出， 不同的过分割方法导致不同 的分割区域。然而， 这对构图评估结果将不会有根本影响。作为替代， 也可以采用任何其它 的适当方法， 以将图像分割成多个区域。例如， 在区域分割步骤 610 中， 甚至可以采用将图 像分割成 mn 个方格 （square grid） （这里 m 和 n 是正整数） 的简单方法。当然， 这里， m 和 n 越大， 则构图评估结果越好。 0054 接下来， 在步骤 620（区域属性提取步骤） 处， 从每一个区域提取至少一个。
29、属性。 0055 图 7 给出区域属性提取步骤的示例性流程图。 0056 如图 7 所示， 在步骤 710（区域特征提取步骤） 处， 首先从每一个区域提取至少一 个特征。 0057 提取的特征被用来描述分割区域的属性。因此， 只要能够描述期望的属性， 则提 取的特征的类型和数量就不被特别限制 （顺便提及的是， 为每一个区域提取的特征是同样 的） 。例如， 在区域特征提取步骤中可以使用诸如 SVL （STAIR Vision Library） 、 LBP （Local BinaryPatterns） 等的特征。 尽管不同的特征可在随后的区域分类步骤中导致某种不同， 但 是这对构图评估结果将不会有。
30、根本影响。 一般而言， 提取的特征将是矩阵， 其中每一行代表 图像中的区域 （或超像素） 的特征， 并且每一列代表图像中的所有区域 （或所有超像素） 的特 征值。 0058 然后， 在步骤 720（区域分类步骤） 处， 基于提取的所述至少一个特征和训练后的 模型将每一个区域分类成预设的类别。 0059 分类方法不被特别限制， 并且在区域分类步骤中可以采用任何的适当的分类方 法。在本发明的一个实施例中， 采用递归神经网络 （RNN） 方法以将整个输入图像多类分 割成不同的分类区域。图 18 给出 RNN 方法的示意图。在 RNN 方法中， 如图 18 所示， 分区 （segment） 特征首先被。
31、映射到语义特征空间， 然后通过同一神经网络被递归地合并， 直到它 们代表整个图像为止。映射和合并两者都被习得。RNN 方法将通过使用训练后的模型来计 算每一个区域 （或超像素） 在每一预设的类别中的分数， 并基于计算出的分数来选择一个类 别作为每一个区域 （或超像素） 的标记 （label） 。在如图 16A 所示的输入图像的例子中， 预 设的类别可以是天空、 树、 身体及其它， 并且图 20 示意性地示出相应的区域分类结果。 0060 顺便提及的是， 在本发明中， 必须检测哪种类型的区域以及必须预设哪种类型的 类别不被特别限制。其取决于特定的输入图像。例如， 如果在图像中捕获到人体， 则将要。
32、分 析人体自身以及人体和其它区域之间的关系 ； 如果在图像中捕获到风景， 则将要分析不同 区域之间的关系。 0061 这里， 将简要描述 RNN 训练方法。图 8 9 示意性地示出如何从标记图像 （其包含 标记的类别信息） 获得 RNN 训练后的模型。 0062 如图 8 所示， 在步骤 810 处， 将标记图像分割以获得分区文件。然后， 在步骤 820 处， 从标记图像的分割区域提取特征以获得特征文件。 特征例如可以包括颜色和纹理特征、 增高的像素分类器分数 （在标记的训练数据上训练） 、 外观和形状特征等。顺便提及的是， 步 骤 810 和步骤 820 应分别与步骤 610 和步骤 710。
33、 相同， 即， 对训练图像和要对构图进行评估 的图像两者， 应采用相同的分割方法， 并且应提取相同的特征。 说 明 书 CN 104346801 A 8 6/14 页 9 0063 最后， 在步骤 830 处， 例如通过使用分区文件、 特征文件、 以及真值标记文件和列 表文件来进行 RNN 训练， 以便获得在区域分类步骤 720 中使用的 RNN 训练后的模型。 0064 图 19 示意性地示出 RNN 训练输入。在图 19 中， 第二行示出训练图像的输入实例， 其中区域 1 2 以及区域 3 5 是被不同地标记的区域。第三行示出区域的相邻矩阵。相 邻矩阵 A 是对称性的， 其中， 如果区域 。
34、i 与区域 j 相邻， 则 A(i,j)=1 ； 否则 A(i,j)=0。图 19 还在其第四行示出正确的树的集合， 其对合并具有相同标记的区域的顺序并不在意。 0065 简而言之， RNN 训练步骤 830 基于样品区域的所有标记特征来对参数进行迭 代。图 9 给出 RNN 训练步骤的示例性流程图。如图 9 所示， 在步骤 910 处， 对数据进行 预处理 ； 在步骤 920 处， 对模型进行初始化 ； 在步骤 930 处， 使能量最小化 ； 在步骤 940 处， 判断是否收敛 ： 如果否， 则处理回到步骤 930， 否则， 处理前进到输出训练后的模型的 步骤 950。对于 RNN 训练的更。
35、详细的描述， 可以参见 RichardSocher,Cliff Chiung-Yu Lin,Andrew Y.Ng,Parsing Natural Scenes andNatural Language with Recursive Neural Networks ,Proceeding of the28th International Conference on Machine Learning,Bellevue,WA,USA,2011（图 18 19 摘自该文献） 。 0066 现在回到图 7。接下来， 在步骤 730（区域属性收集步骤） 处， 为每一个区域收集所 述至少一个属性。 0067。
36、 属性被用于图像构图评估， 并取决于用于图像构图评估的预设准则。 例如， 属性可 以包括类别、 位置、 尺寸、 颜色、 纹理等中的至少一种。不必说， 属性还可以是图像构图评估 所需的任何其它的适当的属性。此外， 收集属性的顺序不被特别限制。 0068 对于类别属性， 其例如可以简单地从区域分类步骤 720 的结果被取得。如前所述， 可以使用哪种类型的类别不被特别限制。其取决于特定的输入图像。 0069 对于位置属性， 可以使用哪种类型的位置不被特别限制。仅需要使所有区域收集 相同的位置属性。例如， 位置属性可以是区域的重心位置和外接框位置。作为替代， 位置属 性可以是区域的轮廓中心位置。可以通。
37、过下式 （1） 来表示区域 A 的重心 GCenter(A) ： 0070 0071 这里 (xp,yp) 是像素 p 的坐标， Count(p) 是区域 A 内的总像素数。 0072 对于尺寸属性， 可以使用哪种类型的尺寸不被特别限制。仅需要使所有区域收集 相同的尺寸属性。 例如， 尺寸属性可以是区域的面积 （如图21中用于区域C的交叉线所示） 。 作为替代， 尺寸属性可以是区域的外接框的面积或比例 （scale） （如图 21 中用于区域 C 的 虚线长方形 D 所示） 。 0073 对于颜色属性， 可以使用哪种类型的颜色不被特别限制。仅需要使所有区域收集 相同的颜色属性。例如， 颜色属性。
38、可以是区域的颜色直方图。可以如下式 （2） 那样来描述 提取函数 ： 0074 0075 说 明 书 CN 104346801 A 9 7/14 页 10 0076 这里 k 是计算的颜色空间中颜色属性的维度， C(xp,yp) 是 (xp,yp) 处的颜色。 0077 根据需要， 也可以提取各区域内的诸如纹理等的有用属性。 0078 通过以上步骤710730， 在区域属性提取步骤620中从每一个区域已提取至少一 个属性。 0079 有时， 在区域分类步骤 720 之后， 如果所有区域被根据它们的类别而进行标记 （例 如， 在图22A中， 用同一灰度级来表示属于同一类别的区域） ， 那么可发现。
39、可能存在诸如区域 E 的隔离区域 （即， 被其它区域包围的区域） 。在这种情况下， 为了使分割区域更简明并由此 易于从图像提取主要信息， 可以在区域属性收集步骤 730 之后可选地执行用于合并隔离区 域并更新区域属性的区域更新步骤 740。图 10 示意性地示出区域更新步骤 740 的流程图。 0080 如图 10 所示， 首先， 在步骤 1010 处， 对隔离区域进行合并。 0081 图 11 给出隔离区域合并步骤 1010 的示例性流程图。 0082 这里， 假设在图像中存在 m 个区域 ： P=Pi,i=1,2,.,m。区域分类步骤 720 的结 果给出了每一个区域的类别标记 ： C=C。
40、i,i=1,2,.,m。目的是要去除隔离区域并得到之 后的每一个区域的新的类别标记 ： L=Li,i=1,2,.,n， 这里， n 是合并之后的区域数并 且 n m。 0083 如图 11 所示， 在步骤 1110 处， 建立相邻矩阵。相邻矩阵 ADJ 是 mm 矩阵， 这 里 m 是区域数。ADJ(i,j)=1 意味着区域 i 和区域 j 是邻居， 并且对角线元素为零， 即， ADJ(i,i)=0,i=1,2,m。 0084 接下来， 在步骤 1120 处， 判断是否存在任何隔离区域。如果是， 则处理前进到步骤 1130。 0085 在步骤 1130 处， 对隔离区域进行合并。用于步骤 11。
41、30 的算法可以如下所述。当 围绕一个区域的各区域都属于相同的类别 C 时， 所述一个区域的类别标记被修改为 C， 并且 所有这些区域被合并到具有最大像素数的区域， 即， 合并后的区域的 ID 号为具有最大像素 数的区域的 ID 号。 0086 然后， 在步骤 1140 处， 相应地更新相邻矩阵 ADJ， 并且处理回到步骤 1120。 0087 如果判断不存在任何隔离区域， 则处理前进到步骤 1150。在步骤 1150 处， 合并后 的区域被连同它们的类别标记 L=Li,i=1,2,.,n 一起被输出。 0088 现在回到图 10。在隔离区域合并步骤 1010 之后， 执行用于更新区域属性的步。
42、骤 1030。 0089 在合并之后， 如果被合并成一个区域的多个区域具有多于一个的类别， 那么合并 后的所述一个区域的类别是该多个区域中的最多数区域具有的类别。 0090 可以如区域属性收集步骤 730 中那样来更新其它属性， 并且， 唯一的区别在于 ： 针 对分割区域执行步骤 730， 而针对合并区域执行该属性更新步骤。 0091 如图 10 所示， 可选地， 在隔离区域合并步骤 1010 之后且在区域属性更新步骤 1030 之前， 区域更新步骤可以进一步包括用于使区域之间的边界平滑化的边界平滑化步骤 1020。这是因为， 有时， 如用相同灰度级表示属于同一类别的区域的图 22A 所示， 。
43、分类后的 说 明 书 CN 104346801 A 10 8/14 页 11 域之间的边界可能不平滑。 在这种情况下， 进一步执行边界平滑化步骤1020， 以使区域更简 明并由此易于从图像提取主要信息。 0092 在边界平滑化步骤 1020 中， 可以利用数学形态学 （mathematicalmorphology,MM） 。基本的形态算符包括腐蚀和膨胀 ( )。开运算 () 和闭运算( )被作为不同成分的组合而执行。 更具体而言， 如果I是要被处理的图像区域， SE是结构元素 （structuring element） ， 则可以如下式 （3） 那样来定义 MM ： 0093 0094 I S。
44、E=I+SE 0095 (3) 0096 ISE=(I-SE)+SE 0097 ISE=(I+SE)-SE 0098 变换严格地取决于结构元素的拓扑以及几何。 可以遵循数个结构元素来计算出平 滑边界 (I)。作为例子， 可以如下式 （4） 那样来表示通过膨胀至腐蚀而提取的平滑边界 ： 0099 0100 图 22A 22B 示意性地示出合并和平滑化的结果。如从图 22A 可见的那样， 在合 并和平滑化之前， 存在诸如区域 E 的隔离区域， 并且人体附近的边界具有许多毛刺。在合并 和平滑化之后， 如从图 22B 可见的那样， 诸如区域 E 的隔离区域被合并 （即， 它们不再存在） ， 并且人体附。
45、近的边界看起来非常平滑。尽管区域更新步骤 740 仅仅是可选的 （即， 不进行合 并和平滑化， 本发明仍能够实现其对更多类型的图像和 / 或更多类型的构图问题进行评估 的目的） ， 但是它可以使区域更简明并由此易于从图像提取主要信息， 从而能够有助于图像 构图评估。 0101 现在回到图 6。在区域属性提取步骤 620 之后， 接下来， 在步骤 630（区域关系描 述步骤） 处， 基于提取的属性来描述区域之间的关系。 0102 正如提取的属性那样， 描述的关系被用于图像构图评估， 并取决于图像构图评估 的预设准则。 例如， 描述的关系可以包括相对位置、 相对面积比例、 颜色匹配、 纹理匹配等中。
46、 的至少一种。不必说， 描述的关系还可以是图像构图评估所需的任何其它的适当关系。并 且， 用于对关系进行描述的顺序不被特别限制。在区域关系描述步骤 630 中可关注所有类 型的区域。 0103 对于相对位置， 例如， 可以考虑区域是否是邻居。 可以使相邻矩阵与以上步骤1010 中的几乎相同， 并且， 这里为了简洁而未给出详细描述。 还可以考虑一些区域是否在主要区 域 （诸如被识别为人体的区域） 之上。否则， 可以计算不相邻主要区域的位置和距离。图 23 给出两个区域 F 和 G 的相对位置的例子， 这里区域 F 和 G 之间的距离 H 被计算。不必说， 如 果对于图像构图评估而言是期望的， 那。
47、么也可以计算任何其它的相对位置。 0104 对于相对比例， 例如， 可以计算被标记为同一类别的不同区域的面积比例。 也可以 计算主要区域对于整个图像的面积比例。如果期望的话， 可以允许具有不同类别的区域的 求和区域的比例。作为例子， 下式 （5） 可被用于计算相对比例 ： 说 明 书 CN 104346801 A 11 9/14 页 12 0105 0106 (5) 0107 0108 这里， r 是图像中的区域 ID(r=1,n)， R 是最大区域的区域 ID， Wimg和 Himg分别 是图像的宽度和高度， Area(r)、 Area(R) 和 Area(image) 分别是区域 r 的面。
48、积、 最大区域 R 的面积和图像的面积。 不必说， 如果对于图像构图评估而言是期望的， 那么也可以计算任何 其它的相对比例。 0109 除了上述的相对位置和相对比例之外， 也可以计算或描述区域之间的其它关系， 即， 可以使用哪种类型的关系不被特别限制。例如， 可以考虑颜色匹配、 纹理匹配等。其可 以有助于判断构图中的冲突视图感觉 （conflict view feeling） 。 0110 在本发明的一个实施例中， 例如， 区域关系描述步骤 630 可以包括以下步骤中的 至少一个 ： 相对位置计算步骤， 用于基于距离、 相邻关系 （neighbourhood） 和对称性来计算 区域的相对位置 ； 以及协调度 （coordination degree） 计算步骤， 用于基于相对面积比例、 颜色匹配和区域复杂度来计算区域之间的协调度。 0111 在区域关系描述步骤 630 之后， 接下来， 在步骤 640（构图评估步骤） 处， 基于提取 的属性、 描述的关系和至少一个预设的准则来评估图像的构图。 0112 构图评估步骤 640 被用于针对所述至少一个预设的准则来找到图像中的构图问 题的位置和原因。 一般地， 从无吸引力的构图的常见原因来提取所述准则， 尽管必须包含哪 种类型的准则不被特别限制。例如， 其可包括头上有对象、 区域尺寸判断、 主要对象位置判 断、 吻边、 靠近。