图像处理方法、图像处理装置、程序以及图像处理系统 【技术领域】
本发明涉及将图像的轮廓整形为几何形状的图像处理方法、图像处理装置、程序以及图像处理系统，特别涉及将图像整形为圆形或多边形的图像处理。
背景技术
为了便于相机操作，通常通过矩形二维数据来表示图像信息。例如，放置于拍卖站点上的图像被表示成的形状使得物品可以被围在矩形框内。因此，在仿射变换或射影变换之后，也通过相同的矩形或四边形在显示设备中表示图像。此外，在例如在照片查看浏览器上的照片显示、缩略图显示以及可在计算机上观看的剪贴簿等的应用中，一般通过四边形来表示图像。然而，虽然数据作为图像信息按矩形存储，但在大多数情况下，存储的图像中的引人注目的对象初始具有不定的形状，而并非矩形。因此，如果必须总以四边形处理图像，则设计上的灵活性差，无法提供趣味性。
作为以不同于矩形的形状来表示图像的方法，例如，已知的技术是，预先准备修整的图像形状并且将给定图像放入该形状中。然而，在该方法中，因为在准备修整图像时并未考虑在待放入的图像中什么东西包含在何种形状中，所以难以在考虑图像的特征部分的情况下进行修整。
另一方面，提出了各种技术，所述技术考虑了图像的特征部分根据图像的内容来提取或者选择图像中的部分区域。一种方法称为二值化(binarization)，其在图像中仅留下包含于特定颜色范围中的一种颜色。这是用于选择区域的最简单的方法之一。此外，还提出了一种称为视觉注意力的技术，其基于人类识别机制来从图像中选择可能吸引视觉注意力的区域(参照例如日本待审专利公开No.2008-53775)。
【发明内容】
然而，根据图像的内容来提取图像的一部分的技术没有考虑提取出的图像的轮廓区域的形状。因此，即使提取出的区域适于计算机处理，作为待通过修整图像来表示的区域，提取出的区域常具有缺乏吸引力的形状，因此不适于视觉上吸引人的图像表示方式。
还提出了一种称为区域分段的方法，该方法以有意义的单元将图像中的对象划分为多个区域；还提出了一种识别图像中的实际对象并选择存在该对象的实际区域的技术。在这样的方法和技术中，虽然如果进行了正确的识别则为对象的形状适当地选择了区域，但根据计算机进行的自动处理中的一般人类识别，并非总是正确地识别出对象。此外，即使正确地识别出对象，对象的机械识别方式也如此特定以致所选择的区域在某些情况下可能是看上去相当不吸引人的形状。
鉴于前述情况，期望提出将规定的图像区域整形为期望的几何轮廓的图像处理。
根据本发明的实施例，提供了一种图像处理方法，包括以下步骤：执行距离转换的步骤，计算从二值化图像的修整目标侧地第一像素区域到二值化图像的背景侧的第二像素区域的距离值；执行框架提取的步骤，根据每个第一像素的距离值来提取表示第一像素区域的框架的多个点；以及执行修整轮廓确定的步骤，从提取出的多个点中排除基于规定的条件而被判断为较不重要的点，以未排除的点的位置为中心根据每个点的像素的距离值来绘制椭圆或标准圆，以及将多个绘制出的椭圆或标准圆的外边缘确定为用于对修整目标侧的图像进行修整的轮廓。
在这种配置中，在排除包括在表示第一像素区域的框架的多个点中并且基于规定的条件而被判断为较不重要的点的情况下，以未排除的点的位置为中心绘制了根据每个点的像素的距离值的椭圆或标准圆。将多个绘制的椭圆或标准圆的外边缘确定为用于对修整目标侧的图像进行修整的轮廓。由此可以将吸引注意力的图像整形为由多个圆形成的区域形状。
在确定轮廓时，排除了基于规定条件而被判断为较不重要的表示框架的点。相应地，在修整图像时，可以将以非常重要的点为中心的一组弧形设置为轮廓。由此可以将修整目标侧的图像修整为视觉上令人愉悦的弧形。
该图像处理方法还可以包括以下步骤：通过将基于规定的标准从原始图像中选择的图像区域二值化为图像修整目标侧的第一像素区域和背景侧的第二像素区域来执行二值化；以及通过以下方式填充第一像素区域的孔来执行孔填充：将由第一像素区域包围的第二像素转换为第一像素的值。
作为用于从表示第一像素区域的框架的多个点中排除较不重要点的规定条件的示例，执行修整轮廓确定的步骤可以从提取出的多个点中将位于绘制出的椭圆或标准圆之内的点判断为较不重要并排除该点。
执行修整轮廓确定的步骤可以从提取出的多个点中将像素的距离值等于或小于给定阈值的点判断为较不重要并排除该点。
执行修整轮廓确定的步骤可以根据点序列中的每个点的像素的距离值来绘制椭圆或标准圆，所述点序列是通过从左上方依次扫描选择出的图像区域而从提取出的多个点中检测出的。
执行修整轮廓确定的步骤可以根据提取出的多个点中具有较大距离值的像素的点序列中的距离值来绘制规定数量的椭圆或标准圆。
如果以所述点的位置为中心的椭圆或标准圆的数量变为大于规定数量，则执行修整轮廓确定的步骤可以结束。
根据本发明的另一实施例，提供了一种图像处理方法，包括以下步骤：执行最大区域提取的步骤，提取二值化图像的修整目标侧的第一像素区域中的最大区域；执行轮廓点提取的步骤，提取在第一像素区域中提取出的最大区域的多个轮廓点；以及执行修整轮廓确定的步骤，从提取出的多个轮廓点中排除基于规定的条件而被判断为较不重要的轮廓点，并且将连接未排除的轮廓点的邻近点的多边形确定为用于对修整目标侧的图像进行修整的轮廓。
在这种配置中，在排除包括在表示第一像素区域的轮廓的多个轮廓点中并且基于规定的条件而被判断为较不重要的点时，将连接未排除的轮廓点的邻近点的多边形确定为用于对目标侧的图像进行修整的轮廓。因为排除了较不重要的轮廓点，所以修整轮廓可以被整形为仅具有重要轮廓点作为顶点的多边形区域形状。例如，尽管是计算机处理，但这使得能够以人用剪刀随意地剪出图像的感觉来使轮廓成形。由此可以将修整目标侧的图像修整为视觉上令人愉悦的形状。
执行修整轮廓确定的步骤可以检测由提取出的多个轮廓点中的三个或更多邻近轮廓点所形成的面积最小的多边形，并且将位于形成检测出的所述多边形的三个或更多轮廓点的中间的轮廓点判断为较不重要并排除该轮廓点。
执行修整轮廓确定的步骤根据由提取出的多个轮廓点中的三个邻近的轮廓点所形成的三角形形成连接多个轮廓点的邻近点的多边形的凸起还是凹陷，可以将不同的权重分配给所述三角形的面积，检测分配权重之后面积最小的三角形，并且将位于形成检测出的三角形的三个轮廓点的中间的轮廓点判断为较不重要并排除该轮廓点。
作为反复排除被判断为较不重要的轮廓点的结果，如果轮廓点的数量变为等于或小于规定数量，则执行修整轮廓确定的步骤可以结束。
该图像处理方法还可以包括执行稀疏化的步骤，对通过执行轮廓点提取的步骤而提取出的轮廓点每隔一个或每隔多个保留一个，并排除其它轮廓点，并且可以对执行稀疏化的步骤之后的轮廓点执行所述执行修整轮廓确定的步骤。
该图像处理方法还可以包括执行平滑的步骤，根据每个轮廓点的邻近点的位置来对通过执行轮廓点提取的步骤提取出的轮廓点进行平滑，并且可以对所述执行平滑的步骤之后的轮廓点执行所述执行修整轮廓确定的步骤。
可以通过使用基于规定的标准在图像中提取吸引注意力的区域的技术来从原始图像中提取选择的图像区域。
与多个椭圆或标准圆的外边缘或多边形相关的数据可以作为矢量数据存储在存储单元中，所述多个椭圆或标准圆的外边缘或多边形被确定为用于对图像进行修整的轮廓。
根据本发明的另一实施例，提供了一种图像处理装置，包括：距离转换单元，计算从二值化图像的修整目标侧的第一像素区域到二值化图像的背景侧的第二像素区域的距离值；框架提取单元，根据每个第一像素的距离值来提取表示第一像素区域的框架的多个点；以及修整轮廓确定单元，从提取出的多个点中排除基于规定的条件而被判断为较不重要的点，以未排除的点的位置为中心根据每个点的像素的距离值来绘制椭圆或标准圆，以及将多个绘制出的椭圆或标准圆的外边缘确定为用于对修整目标侧的图像进行修整的轮廓。
该图像处理装置还可以包括：二值化单元，将基于规定的标准从原始图像中选择的图像区域二值化为图像修整目标侧的第一像素区域和背景侧的第二像素区域；以及孔填充单元，将由第一像素区域包围的第二像素转换为第一像素的值，由此填充第一像素区域的孔。
根据本发明的另一实施例，提供了一种图像处理装置，包括：最大区域提取单元，提取二值化图像的修整目标侧的第一像素区域中的最大区域；轮廓点提取单元，提取在第一像素区域中提取出的最大区域的多个轮廓点；以及修整轮廓确定单元，从提取出的多个轮廓点中排除基于规定的条件而被判断为较不重要的轮廓点，并且将连接未排除的轮廓点的邻近点的多边形确定为用于对修整目标侧的图像进行修整的轮廓。
根据本发明的另一实施例，提供了一种使计算机执行处理的程序，所述处理包括以下处理：计算从二值化图像的修整目标侧的第一像素区域到二值化图像的背景侧的第二像素区域的距离值的处理；根据每个第一像素的距离值来提取表示第一像素区域的框架的多个点的处理；以及从提取出的多个点中排除基于规定的条件而被判断为较不重要的点，以未排除的点的位置为中心根据每个点的像素的距离值来绘制椭圆或标准圆，以及将多个绘制出的椭圆或标准圆的外边缘确定为用于对修整目标侧的图像进行修整的轮廓的处理。
根据本发明的另一实施例，提供了一种使计算机执行处理的程序，所述处理包括以下处理：执行最大区域提取的处理，提取二值化图像的修整目标侧的第一像素区域中的最大区域；执行轮廓点提取的处理，提取在第一像素区域中提取出的最大区域的多个轮廓点；以及执行修整轮廓确定的处理，从提取出的多个轮廓点中排除基于规定的条件而被判断为较不重要的轮廓点，并且将连接未排除的轮廓点的邻近点的多边形确定为用于对修整目标侧的图像进行修整的轮廓。
根据本发明的另一实施例，提供了一种图像处理系统，包括：距离转换单元，计算从二值化图像的修整目标侧的第一像素区域到二值化图像的背景侧的第二像素区域的距离值；框架提取单元，根据每个第一像素的距离值来提取表示第一像素区域的框架的多个点；第一修整轮廓确定单元，从提取出的多个点中排除基于规定的条件而被判断为较不重要的点，以未排除的点的位置为中心根据每个点的像素的距离值来绘制椭圆或标准圆，以及将多个绘制出的椭圆或标准圆的外边缘确定为用于对修整目标侧的图像进行修整的轮廓；最大区域提取单元，提取二值化图像的修整目标侧的第一像素区域中的最大区域；轮廓点提取单元，提取在第一像素区域中提取出的最大区域的多个轮廓点；第二修整轮廓确定单元，从提取出的多个轮廓点中排除基于规定的条件而被判断为较不重要的轮廓点，并且将连接未排除的轮廓点的邻近点的多边形确定为用于对修整目标侧的图像进行修整的轮廓；以及选择单元，选择由第一修整轮廓确定单元确定的第一轮廓和由第二修整轮廓确定单元确定的第二轮廓中的一个。
该选择单元可以根据以下条件中的任一条件来选择第一轮廓和第二轮廓中的一个：(1)进行随机选择；(2)基于第一轮廓的总面积与第二轮廓的总面积的比率来进行选择；(3)基于第一轮廓的形状和第二轮廓的形状中的至少一个来进行选择；以及(4)基于第一轮廓的形状和第二轮廓的形状相对于二值化之后的第一像素区域的误差来进行选择。
根据上述本发明实施例，可以使基于标准而选择的图像区域的边界成形为视觉上令人愉悦的几何轮廓。
【附图说明】
图1是根据本发明第一实施例的图像处理装置的示意性框图。
图2A是示出在根据实施例的图像处理期间的图像状态的视图。
图2B是示出图2A的后续图像状态的视图。
图3是用于描述根据实施例的距离转换的视图。
图4是用于描述根据实施例的局部最大值提取的视图。
图5是用于描述根据实施例的圆绘制的视图。
图6是用于描述在从左上方依次扫描图像区域时执行圆绘制的操作的视图。
图7是示出根据实施例的圆修整处理的流程图。
图8是示出根据实施例的圆绘制处理的流程图。
图9是根据本发明第二实施例的图像处理装置的示意性框图。
图10A是示出在根据实施例的图像处理期间的图像状态的视图。
图10B是示出图10A的后续图像状态的视图。
图10C是示出图10B的后续图像状态的视图。
图11是用于描述根据实施例的平滑的视图。
图12是用于描述根据实施例的轮廓点移除的视图。
图13是示出根据实施例的依照加权的图像状态的视图。
图14是示出根据实施例的多边形修整处理的流程图。
图15是示出根据实施例的轮廓点移除处理的流程图。
图16是根据本发明第三实施例的图像处理系统的示意性框图。
图17是根据各个实施例的修整后的图像的缩略图显示的示例。
【具体实施方式】
在下文中，参照附图来详细描述本发明的优选实施例。应当注意，在该说明书及附图中，用相同的参考数字来表示基本上具有相同功能和结构的结构部件，省略了对这些结构部件的重复说明。
按以下顺序给出描述。
1.第一实施例(圆修整：通过多个标准圆来修整图像的示例)
2.第二实施例(多边形修整：通过连接轮廓点的多边形来修整图像的示例)
3.第三实施例(系统：选择圆修整或多边形修整之一的示例)
<第一实施例>
[图像处理装置]
下文中参照图1所示的框图来描述根据本发明第一实施例的图像处理装置。图像处理装置10包括由以下单元表示的功能块：二值化单元105、孔填充单元110、距离转换单元115、局部最大值提取单元120、修整轮廓确定单元125(第一修整轮廓确定单元)、存储单元130以及图像处理单元135。
例如，在电视或个人计算机(PC)的情况下，图像处理装置10可以包括诸如嵌入记录器中的IC(集成电路)芯片等电路(未示出)。在这种情况下，图像处理装置10的主要功能是：将表示输入到记录器或PC的图像(原始图像)的信号S10输入到IC芯片，以及将表示修整处理后的图像的信号S20输出到记录器或PC。此外，图像处理装置10可以包括CPU、ROM或RAM(未示出)。例如，在记录器或PC中包括的ROM等等中可以存储程序或数据，所述程序或数据包含对用于实施图像处理装置10的主要功能的处理过程的描述。然后，可以通过CPU来实现图像处理装置10的主要功能，CPU读取并且解释程序，以及执行图像处理。
下文中描述具体功能。例如，下文中待处理的原始图像可以是各种图像，例如通过成像设备捕获的图像、通过网络获取的图像以及通过PC创建的图像。
对于以此方式获取的原始图像，二值化单元105对基于规定的标准从原始图像中选择的图像区域进行二值化。图2A示出其中根据原始图像创建出二值化图像的状态。在图2A中，在二值化之后，通过白色来表示修整目标侧的第一像素区域，而通过黑色来表示背景侧的第二像素区域。基于规定的标准从原始图像中选择特定图像区域的方法包括以下方法(a)至(j)。
(a)通过对亮度(或色度、色调)执行特定的阈值操作来执行二值化的方法
(b)基于是否处于特定颜色范围(例如，图像的平均颜色)内来执行二值化的方法
(c)在时间上连续的多个帧中提取移动对象区域并且二值化为提取出的移动对象区域以及其它对象区域的方法
(d)基于到根据立体视觉(多重视图)获得的对象的距离来提取邻近对象并且二值化为邻近对象以及其它对象区域的方法。
(e)根据图像的区域分割的结果来选择特定区域并且执行二值化的方法。
(f)基于作为使用称为视觉注意力的技术的结果而获得的显著区域来执行二值化的方法，该技术基于人类识别机制从图像中选择可能吸引视觉注意力的区域。
(g)基于是否处于特定频带(例如有边缘的部分、无边缘的部分等等)内来执行二值化的方法
(h)基于对象识别技术(例如面部识别、人类识别等等)的结果，根据特定对象区域来执行二值化的方法
(i)基于通过仅提取景深较深的部分而获得的区域来执行二值化的方法
(j)基于红外相机拍摄的对象的高亮度部分来执行二值化的方法
孔填充单元110通过用白色图像的值替换在二值化之后被白色图像包围的黑色图像来填充白色图像区域中的孔。图2A示出其中根据二值化图像创建出孔填充之后的图像的状态。
距离转换单元115针对孔填充之后的白色图像区域中的每个白色像素计算从该白色像素到最近的黑色像素的距离值。图2A示出其中根据孔填充后的图像创建出距离转换之后的图像的状态。下文中参照图3来具体描述在此执行的距离转换。距离转换是将从白色像素到最近的黑色像素的距离数字化的处理。例如，从图3所示的图像区域中的白色像素(2，3)到最近的黑色像素的距离是2。因此，表示距离值的“2”被代入白色像素(2，3)。如果针对图像区域内的所有白色像素执行了这种处理，则该图像区域内的部分得以数字化，如图3的下部所示。
距离转换单元115可以如上所述在通过二值化和孔填充形成图像之后计算每个白色像素的距离值。或者，可以预先对要被修整的图像执行二值化和孔填充，距离转换单元115可以计算处理后的图像上的每个白色像素的距离值，而不执行二值化步骤和孔填充步骤。
如果每个白色像素的距离值大于最接近于该白色像素的规定数量的白色像素的距离值，则局部最大值提取单元120提取该白色像素作为局部最大值。图2A和图2B示出其中根据距离转换之后的图像创建出局部最大值提取之后的图像的状态。下文中参照图4来具体描述在此执行的局部最大值提取。例如，对白色像素(3，3)的距离值与白色像素(3，2)、白色像素(2，3)、白色像素(4，3)以及白色像素(3，4)(它们是在该图像区域中与白色像素(3，3)最接近的四个邻域)的距离值进行比较。作为比较的结果，因为白色像素(3，3)的距离值“3”大于四个邻域的距离值“2”，所以采用白色像素(3，3)作为局部最大值。另一方面，如果对白色像素(4，2)的距离值与四个邻域的距离值进行比较，因为白色像素(4，2)的距离值“2”不大于四个邻域的距离值，所以不采用白色像素(4，2)作为局部最大值。对所有白色像素执行局部最大值提取。可以使用八个邻域而不是四个邻域作为比较目标。此外，可以与更多数量的邻域进行比较。
局部最大值提取单元120是框架提取单元的示例，框架提取单元根据每个第一像素的距离值来提取表示第一像素区域的框架的多个点。因此，由局部最大值提取单元120提取出的局部最大值是表示由框架提取单元提取出的框架的多个点的一个示例。替代局部最大值提取，可以执行检测图像框架的框架转换，图像框架是距图像区域边界的距离的中心。框架转换是框架提取单元的一个示例，框架提取单元根据每个第一像素的距离值来提取表示第一像素区域的框架的多个点。
修整轮廓确定单元125排除在提取出的框架中包括的多个点之中基于规定的条件而被判断为较不重要的点，以未排除的点的位置为中心根据每个点的像素的距离值来绘制椭圆或标准圆，然后将多个绘制的椭圆或标准圆的外边缘确定为用于对修整目标侧的图像进行修整的轮廓。
例如，如图5所示，修整轮廓确定单元125可以基于距离值来设置长轴rl、短轴rs以及期望的旋转角θ，并且以未排除的局部最大值为中心(x，y)绘制椭圆，或者，可以基于距离值来设置半径r，并且以未排除的局部最大值为中心(x，y)绘制标准圆。在该示例中，当绘制标准圆时半径是距离值的1.5倍(半径调整因子)。
如图6所示，修整轮廓确定单元125从左上方依次扫描选择的图像区域，从而根据检测到的局部最大值P的序列中每个点的像素的距离值来绘制椭圆或标准圆。在图6的示例中，修整轮廓确定单元125首先绘制以局部最大值P1为中心的标准圆，然后绘制以局部最大值P2和P3为中心的标准圆。因为局部最大值P4和P5位于已经绘制出的点P3的标准圆以内，所以局部最大值P4和P5被判断为较不重要，因此被排除。此外，修整轮廓确定单元125将距离值等于或小于给定阈值(绘制最小距离值；例如输入图像(选择的图像)的垂直长度和水平长度中较小的一个的1/20)的局部最大值判断为较不重要并排除该局部最大值。在该示例中，标准圆的最小半径是绘制最小距离值与半径调整因子的乘积。在此之后，重复上述处理，从而绘制了以局部最大值P6至P15为中心的标准圆。
减少被判断为较不重要的圆的数量的方法不限于上述方法。例如，可以通过以下方式来减少圆的数量：使用不与其它圆交叠的区域的面积作为分数，并且基于具有较小分数的圆较不重要的判断来按分数的升序依次移除圆。或者，可以通过以下方式来减少圆的数量：使用不与其它圆交叠的面积的比例作为分数并且按分数的升序依次移除圆。在执行上述移除方法的情况下，在从左上方依次扫描图像区域时如其它圆那样绘制图6中的圆P4和P5，在此之后通过上述移除方法来移除它们。
修整轮廓确定单元125将以这种方式绘制的多个标准圆(或椭圆)的外边缘确定为用于对图像进行修整的轮廓(图2B；圆绘制)。或者，修整轮廓确定单元125可以按距离值的降序依次对局部最大值绘制最多为规定数量的标准圆，而不是从左上方依次扫描图像区域。
存储单元130存储被确定为轮廓的所述多个标准圆的区域形状数据的矢量数据。矢量数据在随后描述。
图像处理单元135使修整目标图像与基于矢量数据确定出的轮廓交叠(图2B；修整的图像)。除了上述处理之外，图像处理单元135中的图像处理还可以包括各种图像处理，例如掩模生成和图像质量校正。
[对操作的描述]
下文中参照图7和图8的流程图来描述图像处理装置10的操作。图7是示出根据实施例的圆修整处理的流程图(主例程)。图8是示出从圆修整处理调用的圆绘制处理的流程图(子例程)。
(圆修整处理)
该处理始于步骤S700，在步骤S705中捕获原始图像。接下来，在步骤S710中，二值化单元105对原始图像的每个像素的亮度与给定阈值进行比较，并且根据量值关系对原始图像进行二值化。由此通过白色像素来表示修整目标侧的图像。
然后，在步骤S715中，孔填充单元110反转被白色像素包围的黑色像素的值，用白色像素替代该黑色像素。白色图像区域的孔由此得以填充。此外，在步骤S720中，距离转换单元115计算每个白色像素到最近的黑色像素的距离值。然后，在步骤S725中，局部最大值提取单元120确定每个白色像素的距离值是否大于与相关的白色像素最接近的四个白色像素(四个邻域)的相应距离值。如果大于，则局部最大值提取单元120采用该白色像素作为局部最大值，如果等于或小于，则局部最大值提取单元120不采用该白色像素作为局部最大值。根据距白色图像区域的轮廓的距离的改变而设置并且表示白色图像区域的框架的点由此被选择为局部最大值。在此之后，在步骤S730中，调用图8所示的圆绘制处理。
(圆绘制处理)
该处理开始于步骤S800，并且在步骤S805中，捕获提取了局部最大值的图像(框架结果；参见图2B)以及用黑色填充的掩模图像。接下来，进入步骤S810，修整轮廓确定单元125从左上方依次扫描图像位置，直到检测到框架结果是白色而掩模图像不是白色的局部最大值P。然后，处理进入步骤S815，修整轮廓确定单元125确定该局部最大值P的距离值是否等于或小于上面描述的绘制最小距离值。如果局部最大值P的距离值等于或小于绘制最小距离值，则处理返回步骤S810，修整轮廓确定单元125检测下一个局部最大值P。这样防止了绘制太小的圆。如上所述，绘制最小距离值被设置为输入图像(选择的图像)的垂直长度和水平长度中较小的一个的1/20。
如果局部最大值P的距离值大于绘制最小距离值，则处理进入步骤S820，修整轮廓确定单元125在以局部最大值P的位置作为中心坐标的具有半径r(＝距离值×1.5(半径调整因子))的圆区域中用白色填充掩模图像。然后，在步骤S825中，存储单元130存储局部最大值P的位置和半径r的矢量数据。在此之后，在步骤S830中，修整轮廓确定单元125确定扫描是否结束，如果扫描尚未结束，则处理返回到步骤S810以继续执行局部最大值P的扫描。另一方面，如果扫描结束了，则处理进入步骤S895，并由此终止。
在圆绘制处理终止之后，处理返回图7的步骤S735，并且图像处理单元135使修整目标图像与基于矢量数据来限定的圆修整区域交叠。然后处理进入步骤S795，并由此终止。
如上所述，根据实施例，对于每个局部最大值，在排除了基于规定的条件而被判断为较不重要的局部最大值的情况下，以未排除的局部最大值的位置为中心绘制了根据相应的距离值的标准圆。多个绘制出的标准圆的外边缘被确定为用于对作为在选择的图像区域中绘制出的特征部分的图像进行修整的轮廓。由此可以将基于特定标准选择出的图像中的所述区域整形为由多个圆形成的区域形状。具体地说，在该实施例中，因为排除了基于规定的条件而被判断为较不重要的框架点，所以在用于对图像进行修整的轮廓中消除了弧形的细小凸出。作为结果，可以使选择的图像中的区域的边界成形为视觉上令人愉悦的弧形轮廓。
替代以局部最大值为中心(x，y)绘制标准圆，可以通过基于距离值设置长轴rl、短轴rs以及期望的旋转角θ来绘制以局部最大值为中心(x，y)的椭圆(参见图5)。由此可以通过改变长轴rl与短轴rs之间的比率或者改变旋转角θ来以令人惊奇的、引人注目的以及有节奏的圆形轮廓来对图像进行修整。
<第二实施例>
[图像处理装置]
下文中参照图9所示的框图来描述根据本发明第二实施例的图像处理装置。第二实施例与第一实施例的差别在于，根据第二实施例的图像处理装置20通过多边形来修整图像，而根据第一实施例的图像处理装置10通过多个标准圆来修整图像。下文中主要针对差别来描述第二实施例。
图像处理装置20包括由以下单元表示的功能块：二值化单元105、最大区域确定单元140、轮廓点提取单元145、稀疏化单元150、平滑单元155、修整轮廓确定单元160(第二修整轮廓确定单元)、存储单元130以及图像处理单元135。
对于图10A所示的原始图像的二值化图像区域，最大区域确定单元140用黑色图像的值来替代与白色图像区域的最大区域中的图像不同的图像，由此提取白色图像的最大区域(图10A；最大区域)。轮廓点提取单元145提取白色图像的最大区域的多个轮廓点(图10A；轮廓点的提取)。最大区域确定单元140可以从预先二值化的图像中提取白色图像的最大区域(无需实施执行图像的二值化的步骤)。
稀疏化单元150每隔一个轮廓点或每隔多个轮廓点平均地保留一个轮廓点并排除其它轮廓点，直到由轮廓点提取单元145提取出的轮廓点的数量变为规定数量。在该实施例中，重复每隔一个轮廓点的稀疏化操作，直到轮廓点的数量变为等于或小于稀疏化之后的点的最大数量。在该实施例中，稀疏化之后的点的最大数量被设置为“100”(图10B；轮廓点的稀疏化)。
平滑单元155基于每个轮廓点的邻近点的位置对被稀疏化单元150稀疏化了的轮廓点进行平滑。具体地说，基于邻近点Pi-1和邻近点Pi+1的位置按照以下表达式(1)来对轮廓点Pi进行平滑：
Pi＝(Pi-1+Pi+Pi+1)/3 (1)
例如，如图11所示，基于邻近点P1和P3的位置将轮廓点P2平滑为P2′，基于邻近点P2和P4的位置将轮廓点P3平滑为P3′。平滑单元155对所有轮廓点执行平滑(图10B；轮廓点的平滑)。可以省略由稀疏化单元150和平滑单元155执行的图像处理。
修整轮廓确定单元160从多个提取出的轮廓点之中排除基于规定的条件而被判断为较不重要的轮廓点(图10B，图10C；根据点的重要性来移除轮廓点)，并且将连接未排除的轮廓点的邻近点的多边形确定为用于对修整目标图像进行修整的轮廓(图10C，根据点的重要性来移除轮廓点(最后的))。
以下描述基于规定的条件来排除较不重要的轮廓点的方法。如果由在轮廓点之中的三个邻近轮廓点形成的三角形的面积最小，则修整轮廓确定单元160将位于形成该面积的顶点的三个轮廓点的中间的轮廓点判断为较不重要并排除该轮廓点。参照图12更具体地描述，对于图12的“a”所示的轮廓点P1至P7，如果对邻近的三个点的三角形的面积S1(P1，P2，P3)、面积S2(P2，P3，P4)、面积S3(P3，P4，P5)、面积S4(P4，P5，P6)、面积S5(P5，P6，P7)、面积S6(P6，P7，P1)以及面积S7(P7，P1，P2)进行比较，面积S4是最小的。在此情况下，修整轮廓确定单元160确定P5较不重要，并且如图12的“b”所示排除P5(图10B、图10C，轮廓点的移除，修整的图像)。
在以上描述中，并未考虑形成三角形的部分是轮廓点之内的区域的凸起还是凹陷。在不抑制如上所述的轮廓点之内的区域的凹陷的情况下，对重要性的确定不分配权重。因此，如果直接比较图12的“b”所示的面积S1和面积S2，结果，面积S1较小，则修整轮廓确定单元160确定P2较不重要并且排除P2。
另一方面，在抑制轮廓点之内的区域的凹陷的情况下，对重要性的确定分配权重，因此结果可能不同。例如，当分配给凸起的权重是1.0并且分配给凹陷的权重是0.5以便抑制凹陷时，如果在将权重分配给面积S1和S2之后的面积是S1′和S2′，则在图12的“b”状态中面积S2′更小。在此情况下，修整轮廓确定单元160确定P3较不重要并且如图12的“d”所示那样排除P3。结果，与不执行用于抑制凹陷的加权的图12的“c”相比，在执行用于抑制凹陷的加权的图12的“d”中抑制了轮廓点之内的区域的凹陷。
下文中描述由分配的权重的差异而导致的修整结果之间的差异的示例。例如，图13示出在以下情况中的图像轮廓的示例：不分配权重的情况(分配给凸起的权重：1.0，分配给凹陷的权重：1.0)，分配权重用于抑制凹陷的情况(分配给凸起的权重：1.0，分配给凹陷的权重：0.5)，分配权重用于进一步抑制凹陷的情况(分配给凸起的权重：1.0，分配给凹陷的权重0.25)，以及分配权重用于完全抑制凹陷的情况(分配给凸起的权重：1.0，分配给凹陷的权重：0.0)。因此，可以根据抑制凹陷的程度来形成具有不同修整边缘的轮廓。轮廓中的任一种都是有吸引力的，例如，在分配给凸起的权重是1.0而分配给凹陷的权重是0.5的修整中，图像被修整为多边形，在该多边形中目标图像中的狗尾巴稍微被剪切了。以此方式，在该实施例中可以以人用剪刀随意地剪出图像的感觉来修整目标图像。这使得图像的呈现能够象视觉上有感染力的手工制作一样。
[对操作的描述]
下文中参照图14和图15的流程图来描述图像处理装置20的操作。图14是示出根据实施例的多边形修整处理的流程图(主例程)。图15是示出从图14的圆修整处理调用的轮廓点移除处理的流程图(子例程)。
(多边形修整处理)
该处理开始于步骤S1400，并且在步骤S1405中捕获原始图像。接下来，在步骤S1410中，二值化单元1405对原始图像的每个像素的亮度与给定阈值进行比较，并且根据量值关系对原始图像进行二值化。
接下来，在步骤S1415中，最大区域确定单元140将与白色像素区域的最大区域不同的区域反转为黑色像素的值，由此仅留下白色图像的最大区域。然后，在步骤S1420中，轮廓点提取单元145提取白色图像的提取出的最大区域的多个轮廓点。
然后，在步骤S1425中，稀疏化单元150每隔一个对提取出的轮廓点进行稀疏化。进一步，处理进入步骤S1430，当稀疏化之后的点的数量大于稀疏化之后的点的最大数量(在该示例中为“100”)时，稀疏化单元150重复步骤S1425和S1430。如果稀疏化之后的点的数量变为等于或小于稀疏化之后的点的最大数量，则处理进入步骤S1435，平滑单元155根据上述表达式(1)对轮廓点进行平滑。在此之后，在步骤S1440中调用轮廓点移除处理(子例程)。
(轮廓点移除处理)
该处理开始于步骤S1500，并且在步骤S1505中，修整轮廓确定单元160计算连接三个点(即每个轮廓点Pi以及邻近点Pi-1和Pi+1)的三角形的面积S。接下来，处理进入步骤S1510，修整轮廓确定单元160确定轮廓点Pi是否为凸起的顶点。如果轮廓点Pi是凸起的顶点，则处理进入步骤S1515并且使用轮廓点Pi的计算出的面积S作为点Pi的分数。另一方面，如果轮廓点Pi不是凸起的顶点，则处理进入步骤S1520并且使用通过将权重分配给轮廓点Pi的计算出的面积S而获得的值作为点Pi的分数。在该示例中权重是0.25。
处理进一步进入步骤S1525，并且修整轮廓确定单元160从所有轮廓点中删除具有最小分数的点。然后，在步骤S1530中，如果轮廓点的数量大于轮廓点的最大数量(在该示例中为“10”)，则处理进一步进入步骤S1535，并且对轮廓点Pi-1和Pi+1重新计算三角形的面积，然后返回步骤S1510。作为在步骤S1525中删除了某个点的结果，以在删除的点的两侧的点(轮廓点Pi-1和Pi+1)为中心的三角形的面积改变，因此在步骤S1535中，对相应的改变后的轮廓点Pi-1和Pi+1重新计算三角形的面积。以此方式，当在步骤S1530中轮廓点的数量大于点的最大数量时，重复步骤S1510至S1535的处理。如果轮廓点的数量变为等于或小于点的最大数量，则处理进入步骤S1540，将表示轮廓点P的位置的矢量数据存储到存储单元130中。然后处理进入步骤S1595，并由此终止。
在轮廓点移除处理终止之后，处理返回图14的步骤S1445，图像处理单元135使得修整目标图像与基于矢量数据来限定的多边形修整区域交叠。然后处理进入步骤S1495，并由此终止。
如上所述，根据实施例，在从表示白色像素区域的轮廓的多个轮廓点P之中排除基于规定的条件而被判断为较不重要的轮廓点的情况下，将连接未排除的轮廓点的邻近点的多边形确定为用于对目标侧的图像进行修整的轮廓。因为排除了较不重要的轮廓点P，所以轮廓可以成形为仅具有重要轮廓点作为顶点的多边形区域形状。具体地说，因为按面积的升序依次删除了三角形，所以可以创建由较少数量的点所形成的多边形，同时尽可能保持修整目标侧的原始的二值化图像的形状。例如，由此可以将修整目标侧的图像修整为新奇而令人愉悦的轮廓，仿佛是人用剪刀随意地剪出的图像。
可以省略稀疏化单元150在步骤S1425和S1430中的操作。类似地，也可以省略平滑单元155在步骤S1435中的操作。在不抑制凹陷的情况下，不执行修整轮廓确定单元160在步骤S1510至S1520中的操作。
此外，作为用于在步骤S1530中终止移除轮廓点的条件，例如，虽然轮廓点的数量被设置为十，但可以使用另一终止确定方法。例如，当所有轮廓点(顶点)角度的绝对值变为等于或小于特定角度(例如150度)时，可以终止移除轮廓点。
此外，可以在轮廓点之中检测由三个或更多邻近轮廓点形成的面积最小的多边形，并且位于形成检测到的多边形的三个或更多轮廓点中间的轮廓点可以被判断为较不重要并被排除。例如，可以检测由四个轮廓点形成的面积最小的四边形，并且可以排除位于检测到的四边形的四个轮廓点的中间的两个轮廓点。
根据第一实施例的圆修整以及第二实施例的多边形修整，可以使选择的图像区域的边界成形为视觉上令人愉悦的几何轮廓。在“对图像的区域边界整形”的情况下，整形之前的形状(二值化的状态)作为前提而存在。因此，根据这些实施例，可以在保持修整目标侧的二值化图像的信息的同时使边界形状整洁地成形。
<第三实施例>
在本发明第三实施例中，描述从圆修整区域和多边形修整区域中选择用于对图像进行修整的轮廓的图像处理系统。如图16所示，图像处理系统Sys包括根据第一实施例的图像处理装置10、根据第二实施例的图像处理装置20以及选择单元165。
选择单元165选择由图像处理装置10确定的圆修整区域(第一轮廓)或由图像处理装置20确定的多边形修整区域(第二轮廓)中的任一个作为用于对修整目标侧的图像进行修整的轮廓。
选择条件的示例包括以下(1)至(5)。
(1)进行随机选择
(2)选择圆修整区域和多边形修整区域中具有较大总面积的区域的结果
(3)选择在二值化区域(或，在圆的情况下在孔填充之后的图像，在多边形的情况下在最大区域选择之后的图像)与作为结果而获得的圆修整区域或多边形修整区域之间具有较小误差的区域的结果
(4)首先用适当的凹陷抑制率执行多边形修整，如果凹陷的顶点的数量等于或大于特定数量(或者，如果存在处于锐角的凹陷的顶点等等)，则选择圆修整区域；否则选择多边形修整区域
(5)如果作为二值化的结果，白色图像区域由多个小区域组成，则选择圆修整区域；否则，选择多边形修整区域。
根据上面描述的第一实施例至第三实施例，可以自动选择圆修整和多边形修整中的优选的一个。因此，可以通过使用距离转换的圆放置来将基于特定标准选择出的图像中的区域整形为由多个圆形成的区域形状。还可以通过基于形成区域轮廓的点序列中的每个点的重要性程度使点稀疏化来将基于特定标准选择出的图像中的区域整形为多边形区域形状。
这使得图像数据能够表示为非矩形数据。具体地说，因为通过对图像中的一部分区域进行修整而使得能够进行强调修整部分的表示，所以可以实现令人喜闻乐见的图像表示。
作为区域选择标准，可以使用在图像中选择吸引注意力的区域的技术(例如视觉注意力)。采用这样的技术，通过从原始图像中提取吸引注意力的区域来创建图像。对作为基于规定的标准选择出的图像区域的创建出的图像，执行上述图像处理，例如二值化、距离转换、框架转换以及修整轮廓确定。这使得能够进行进一步强调图像中吸引注意力的区域的表示。
通过上述实施例创建出的修整后的图像的用途包括以下方面。例如，修整后的图像可以用作缩略图显示的替代物，缩略图显示显示如图17所示的列表中的多个图像。
例如，放置于拍卖站点上的图像以前被表示成使得物品可以被围在矩形框内的形状。因此，在显示设备中，在仿射变换或射影变换之后通过相同的矩形或四边形表示图像。然而，虽然数据作为图像信息以矩形形式存储，但在大多数情况下，存储的图像中的引人注目的对象初始具有不定的形状，而并非矩形。因此，如果必须总以四边形处理图像，则设计上的灵活性差，没有趣味性。
此外，在矩形缩略图图像的使用中，如果图像被布置为在图像之间并无空间，则背景完全隐藏。此外，即使在图像之间存在空间的情况下，背景仅通过格状的空间才可见。另一方面，通过使用图17所示的修整后的图像，因为图像并非矩形，所以即使以均匀模式简单地布置图像，在图像之间也存在空间。这样允许有效地利用作为设计的一部分的背景。
此外，如果以非均匀方式来布置多个矩形图像，则在矩形图像之间产生无用的空间，或者图像的一部分与另一图像交叠。另一方面，通过在使用根据实施例的图像处理方法的情况下进行的图像修整，可以以看上去有趣的非均匀模式来布置图像，而没有任何无用的空间。
此外，当如剪贴簿那样表示图像时，可以使用修整后的图像。因为通常执行在创建纸张剪贴簿时用剪刀剪出照片，所以通过在计算机上安装用于执行模仿该操作的方法的应用，可以在计算机上实现剪贴簿。
在迄今为止所使用的计算机上模仿剪贴簿的表示方式中，采用了将照片放置在预先准备好的形状的框上的技术。另一方面，在使用根据实施例的修整后的图像的情况下，可以实现的表示方式是：通过考虑了图像内容的修整方法来对图像进行修整。
此外，修整后的图像可以用于通过使用多个修整后的图像来创建一个拼贴图像。修整后的图像也可以用作现实世界中的粘贴物(贴纸)。
此外，在显示别的物体的情况下，而不是在表示修整目标图像本身的情况下，修整后的图像可以用来作为单点图示或图标。
例如，在各个实施例中获得的区域形状的信息可以作为矢量数据按以下格式存储到存储单元130中。圆修整数据表示如下。
(1)定义“椭圆”形状以便表示圆修整数据。将圆表示为椭圆是为了灵活地处理图像在垂直方向和水平方向上的扩展和收缩。此外，将水平方向和垂直方向上的中心坐标cx、cy以及半径rx和ry保存为椭圆的参数。这些值中的每一个在执行圆修整期间由相对于图像的宽度和高度的相对值来表示，该相对值是0.0至1.0的值。
(2)可以通过用如上所述在水平方向和垂直方向上的中心坐标和半径表示在圆放置中使用的圆的多个椭圆以及椭圆的数量来表示圆修整数据。
多边形修整数据表示如下。
(1)定义“点”形状以便表示多边形修整数据。此外，将该点处的位置坐标x、y保存为该点的参数。这些值中的每一个在执行多边形修整期间由相对于图像的宽度和高度的相对值来表示，所述相对值是0.0至1.0的值。
(2)可以通过形成多边形的顶点的多个点以及点的数量来表示多边形修整数据。
通过以此方式将作为上述图像处理的结果而获得的区域形状数据存储为矢量数据，可以存储圆修整区域和多边形修整区域的数据，而不受使用的图像大小的影响。因为成为了矢量数据，所以区域形状和使用了该区域形状的图像可以被彼此独立地管理，并且可以在不受图像的扩展和压缩影响的情况下存储数据。
在上述实施例中，各个单元的操作彼此相关，可以被考虑了彼此关系的一系列操作替换。由此可以将图像处理装置的实施例转换为图像处理方法的实施例以及用于使计算机实现该图像处理方法的功能的程序的实施例。
本发明包含的主题涉及在2008年9月5日提交到日本专利局的日本优先权专利申请JP 2008-227881中公开的主题，其全部内容通过引用合并于此。
本领域技术人员应该理解，取决于设计需求和其它因素可以产生各种修改、组合、子组合和替代方案，只要它们在所附权利要求或其等同内容的范围内。
例如，虽然可以按原样使用根据本发明实施例的修整后的图像，但可以将修整后的图像扩大为等于原始四边形的大小的尺寸，这是由于作为修整的结果区域面积变得小于原始四边形。在这样的用法中，可以获得强调显示通过修整而选择的区域的效果。
此外，在本发明的实施例中，可以基于朝向图像内侧的圆与朝向图像外侧的圆的一套组合来将图像修整为圆形，而不限于基于朝向图像外侧的一组圆。例如，如果图6的以局部最大值P1为中心的圆是朝向图像内侧的圆，则可以形成挖空以局部最大值P2为中心的圆的轮廓。然而，在挖空修整目标侧的图像的方向上修整朝向图像内侧的圆。因此，优选的是，施加以下限制，例如不将朝向图像内侧的圆应用于以位于修整目标侧的图像的中心处的点为中心的圆或半径等于或大于规定的半径的圆。
此外，在本发明的实施例中，当将图像修整为多边形形状时，轮廓点和轮廓点可以通过曲线来连接，而不限于直线。此外，可以执行使作为根据本发明实施例的处理的结果而获得的多边形的顶点(轮廓点)变圆的处理。