便携终端装置及其控制方法、 图像输出装置和方法 【技术领域】
本发明涉及自动调节拍摄条件来进行拍摄的便携终端装置、图像输出装置、便 携终端装置的控制方法以及图像输出方法。背景技术
随着因特网技术的发展、便携电话等的移动设备的多功能化，利用带摄像头的 便携电话等移动设备来进行拍摄的机会逐渐增多。 另外，不仅单纯以风景、人物等作为 被摄体，而且拍摄在各种展示会等上所展示的记载有说明图、说明书的展板，或者在学 会等中拍摄幻灯片的机会逐渐增多。
为了便于到场者观看，在各种展示会等上所展示的、记载有说明图、说明文的 展板等，有时会照射聚光灯等的光。 在用光照射被摄体的情况下，拍摄者通常没有特别 感觉到暗或亮，判断为可以没有问题地拍摄并进行拍摄。 但是，通过包括专利文献 1 记 载的数码相机在内的一般的照相机来观看拍摄到的图像时，存在局部照射到聚光灯等的 光的、亮处的亮度和没有照射到光的、暗处的亮度的差异非常大的情况。
在该情况下，如果以暗处的可见性得到改善的方式匹配曝光条件 ( 增益、光圈 等 )，则存在导致亮处发白的情况增多。相反，以亮处的可见性得到改善的方式匹配曝光 条件，则存在导致暗处发黑的情况增多。 因此，除非具有高度的照相机性能和知识，则 难以拍摄成遍及一张拍摄图像的整个区域上具有良好的可见性、判别性。
为了改善拍摄图像的质量而进行过各种研究，作为其中之一有专利文献 2 中公 开的拍摄装置。 该拍摄装置的特征在于，通过比较闪光灯不进行测试发光就进行拍摄而 获得的静止图像数据、和进行测试发光后进行拍摄而获得的静止图像来抽取被摄体的位 置信息，并对表示该位置信息的区域以适当的发光量使散光灯发光并进行拍摄，由此获 得最终的拍摄图像。
[ 专利文献 1] 日本国公开特许公报 [ 特开 2002-41502 号公报 ](2002 年 2 月 8 日 公开 )
[ 专利文献 2] 日本国公开特许公报 [ 特开 2007-336011 号公报 ](2007 年 12 月 27 日公开 )
然而，即使是上述以往的结构，也依然没有解决如下问题，即在对聚光灯等的 光照射到局部的被摄体进行拍摄的情况下，拍摄图像上产生发白、发黑的任一种的可能 性较高，难以确保拍摄图像整体的良好的可见性。 发明内容
本发明是鉴于上述问题点而做出的，其主要目的在于实现一种用户能够比以往 更容易地获得遍及图像整体上不存在发白、发黑的拍摄图像的图像数据的便携终端装 置。
为了解决上述问题，本发明的便携终端装置具备发送部，该发送部对输出图像数据的图像输出装置发送多个图像数据，该便携终端装置具备 ：拍摄部，其能够对同一 拍摄对象物连续拍摄多次 ；以及拍摄图像判断部，其判断通过由上述拍摄部进行拍摄而 得到的拍摄图像数据是否满足规定条件，在通过上述拍摄图像判断部被判断为满足上述 规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光 条件不同的多种曝光条件来连续拍摄上述拍摄对象物，上述发送部将以上述不同的多种 曝光条件拍摄上述拍摄对象物所得到的拍摄图像数据向上述图像输出装置发送。 其中， 上述规定条件至少包括以下条件 A。
条件 A ：在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第 一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第 一阈值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素 构成的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下 的黑色像素。
根据上述结构，在拍摄图像中、由第一阈值以上的白色像素构成的白色像素组 区域周围的规定范围区域中包含小于上述第一阈值的第二阈值以上的白色像素或者在由 第三阈值以下的黑色像素构成的黑色像素组区域周围的规定范围区域中包含大于上述第 三阈值的第四阈值以下的黑色像素的情况下，便携终端装置以不同的多种曝光条件来拍 摄同一拍摄对象物。 例如，在拍摄图像中、在从由像素值 250 以上的白色像素构成的白 色像素组区域的边界横竖加起来五个点 ( 像素 ) 以内的区域中包含像素值为 240 以上小于 250 的像素的情况下，便携终端装置以不同的多种曝光条件来拍摄同一拍摄对象物。 即，在拍摄图像中可能包含发白、发黑的情况下，以不同的多种曝光条件来拍 摄同一拍摄对象物。
在此，清楚的是，不管用户的摄影技术的好坏，只要以不同的多个曝光条件进 行拍摄的话，则所得到的多个拍摄图像中包含遍及整个图像不存在发白、发黑的拍摄图 像的可能性较高。
因此，便携终端装置起到使用户比以往更容易地得到遍及整个图像不存在发 白、发黑的拍摄图像的图像数据的效果。
为了解决上述问题，本发明的控制方法是便携终端装置的控制方法，其中，该 便携终端装置具备 ：向输出图像数据的图像输出装置发送多个图像数据的发送部 ；以及 拍摄部，其能够对同一拍摄对象物连续拍摄多次，该控制方法的特征在于，包括 ：拍摄 图像判断步骤，在该拍摄图像判断步骤中，拍摄图像判断部判断通过由上述拍摄部进行 拍摄而得到的拍摄图像数据是否满足规定条件 ；拍摄步骤，在该拍摄步骤中，在通过上 述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述 拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象 物 ；发送步骤，在该发送步骤中，上述发送部将以上述不同的多种曝光条件拍摄上述拍 摄对象物而得到的拍摄图像数据向上述图像输出装置发送。 其中，上述规定条件至少包 括以下条件 A。
条件 A ：在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第 一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第 一阈值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素
构成的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下 的黑色像素。
通过上述结构，起到与本发明的便携终端装置相同的作用效果。
关于本发明的其他的目的、特征以及优点，可以通过以下的记载能够充分理 解。 另外，关于本发明的优点，通过参照附图进行的以下说明将变得更明白。
本发明的便携终端装置达到用户比以往能够更容易地获得遍及图像整体不存在 发白、发黑的拍摄图像的图像数据的效果。 附图说明 图 1 是表示构成本发明的拍摄图像处理系统的便携终端装置的结构的框图 ；
图 2 是表示本发明的一个实施方式涉及的拍摄图像处理系统的整体结构的图 ；
图 3 是表示本发明的便携终端装置的拍摄图像处理的一例的流程图 ；
图 4 是表示在本发明的便携终端装置的拍摄图像处理中进行的发白发黑判断处 理的流程图 ；
图 5 表示本发明的拍摄图像处理方法中的图像倾斜度检测例 ；
图 6 表示图 5 的倾斜度检测例中的倾斜角度 θ 和其正切值 ；
图 7 表示图像的几何变形的检测例 ；
图 8 表示图像对象物的边缘检测处理例 ；
图 9 表示图像的光栅方向的边缘检测例 ；
图 10 是表示本发明的图像处理装置中进行的图像的偏离度检测中使用的一阶微 分滤波器的例子 ；
图 11 是表示本发明的便携终端装置的图像处理的另一例的流程图 ；
图 12 是表示本发明的图像输出装置的结构的框图 ；
图 13 是表示本发明的图像输出装置的拍摄图像处理的流程图 ；
图 14 是表示图像的重构像素值的决定例 ；
图 15 是表示图像的透镜变形的补偿例 ；
图 16 是表示图像的几何变形的补偿例 ；
图 17 是表示检测图像的色彩平衡时的查找表的一例 ；
图 18(a) 是表示边缘方向为左上 - 右下方向时的插补像素的像素值的计算方法的 图；
图 18(b) 是表示边缘方向为左 - 右方向时的插补像素的像素值的计算方法的 图；
图 18(c) 是表示边缘方向为右上 - 左下方向时的插补像素的像素值的计算方法的 图；
图 18(d) 是表示边缘方向为上 - 下方向时的插补像素的像素值的计算方法的 图；
图 19 是表示本发明的图像输出装置的拍摄图像处理中进行的超分辨率处理的一 例的流程图 ；
图 20 是表示本发明的图像输出装置的图像处理部的详细的框图 ；
图 21 是表示拍摄图像和便携终端装置的拍摄图像判断部为了判断拍摄图像是否 为恰当的图像而生成的二值图像的图。 其中，(a) 以及 (b) 表示拍摄图像，(c) ～ (h) 表 示二值图像。
其中附图标记说明如下 ：
100 便携终端装置，110 控制部 ( 显示控制部、指示受理控制部、记录控制部 )， 120 拍摄部，130 拍摄图像判断部，140 图像处理部，150 通信部 ( 发送部 )，160 存储部， 170 显示部，180 输入部，190 存储介质访问部，500 图像输出装置，510 控制部，520 图 像读取部，530 图像处理部，531 画质调节部，532 几何补偿部，533 透镜变形补偿部， 534 超分辨率处理部 ( 补偿处理部 )，535 图像补偿部，540 认证部，550 图像形成部， 560 显示部，570 存储部，580 输入部，590 第一通信部 ( 通信部 )，600 第二通信部 ( 输 出部 )，610 存储介质访问部。 具体实施方式
(1) 拍摄图像处理系统的整体结构
本发明的一个实施方式涉及的拍摄图像处理系统具备 ：带摄像头的便携电话、 具备数字静态照相机 (digital still camera) 等具备拍摄装置的便携终端装置 100、以及复合 机、打印机 ( 图像形成装置 ) 等的图像输出装置 (MFP)500。 便携终端装置 100 是被用户携带的装置。 用户在各种场合能够通过便携终端装 置 100 来拍摄 ( 以下，所谓 “拍摄” 是指将以对象物作为被摄体来捕捉并进行读入的图 像数据保存到存储介质中，或者经由通信部发送到外部等，设为用户能够获取图像数据 的状态 ) 对象物。 对于通过便携终端装置 100 读入的图像实施图像判断处理，该图像判 断处理为判断是否为未产生发白、发黑的适当的图像的处理。 然后，在被判断为不适当 的情况下，便携终端装置 100 以各自不同的曝光条件对对象物进行多次拍摄。
便携终端装置 100 与图像输出装置 500 能够进行通信，便携终端装置 100 对于通 过上述多次拍摄而得到的拍摄图像的各个，将图像数据 ( 以下，称为拍摄图像数据 ) 发送 给图像输出装置 500。
图像输出装置 500，对于从便携终端装置 100 接收的各拍摄图像数据，进行提高 分辨率的超分辨率补偿，其结果，从所生成的多个图像数据中选择曝光过度或者曝光不 足的区域较少的图像数据。
此外，在本实施方式中，便携终端装置 100 具有文档拍摄模式的功能，该文档 拍摄模式是从图像输出装置 500 能够得到具有高于通过拍摄所得到的图像数据的分辨率 的较高分辨率的图像数据的拍摄模式。 而且，便携终端装置 100 具备当按下一次未图示 的快门按钮时能够拍摄多张 (2 张至 15 张左右 ：依赖于图像分辨率 ) 的模式 ( 多张拍摄模 式 )，当选择文档拍摄模式时，多张拍摄模式自动地变成有效。
在本实施方式中设为 ：在拍摄如原稿、幻灯片等矩形的拍摄对象物并希望得到 比拍摄图像高的分辨率的图像的情况下，用户选择文档拍摄模式。
另外，用户不一定总是能够从正面拍摄作为矩形拍摄对象物的、原稿、展板、 幻灯片等。 即，存在用户在拍摄对象物的记载有文章的矩形平面的法线方向和拍摄装置 的拍摄方向不一致的状态下，从斜方向拍摄拍摄对象物的情况。 在该情况下，在所拍摄
到的图像中，在拍摄对象物上产生变形 ( 以下，称为几何变形 )。 在本实施方式中，构成 为 ：在选择了上述文档拍摄模式的情况下，图像输出装置 500 在这种几何变形也得到了 补偿的状态下进行图像输出。
作为在图像输出装置 500 中执行的输出处理，存在图像印刷处理、归档处理、 邮件发送处理等，其中，该图像印刷处理是基于进行了高分辨率化的拍摄图像数据进行 的处理，该归档处理是将进行了高分辨率化的拍摄图像数据存储到服务器、 USB 存储器 等存储装置中的处理，该邮件发送处理是将进行了高分辨率化的拍摄图像数据附加到电 子邮件中并进行发送的处理。
此外，作为便携终端装置 100 和图像输出装置 500 的通信方式存在如下方式， 即 ：基于 IrSimple 等的红外线通信标准的某一种的无线通信方式、通过如 Felica( 注册商 标 ) 这样的非接触无线通信，从便携终端装置 100 向中继装置 300 暂时发送拍摄图像数 据，之后，例如使用像 Bluetooth( 注册商标 ) 这样的无线通信，从中继装置 300 向图像输 出装置 500 转送数据的方式。 此外，关于便携终端装置 100 和图像输出装置 500 之间的 通信方式，并不限定于此，可以适用使用公知的通信方法的通信方式。
(2) 便携终端装置的结构
首先，根据图 1 至图 10、图 21，说明本实施方式涉及的便携终端装置 100。
图 1 是表示便携终端装置 100 的结构的框图。 如图 1 所示，便携终端装置 100 具备控制部 110、拍摄部 120、拍摄图像判断部 130、图像处理部 140、通信部 150、存储 部 160、显示部 170、输入部 180、存储介质访问部 190。
拍摄部 120 是使用 CCD 传感器、 CMOS 传感器读入拍摄对象物的图像的装置。 拍摄部 120 以预先设定的分辨率读入拍摄对象物的图像。 此外，拍摄部 120 当按下一次 快门按钮时进行多次拍摄。 此外，按下快门按钮后所得到的多个拍摄图像数据成为向图 像输出装置 500 发送的对象。
拍摄图像判断部 130 是在选择了文档拍摄模式时如果检测出快门按钮的按下， 则判断通过拍摄所得到的一个或多个拍摄图像数据是否为未产生发白、发黑的适当的图 像数据的装置。 或者，拍摄图像判定部 130 也可以将判断是否为未产生发白、发黑的适 当的图像数据的对象的图像数据设为已经由拍摄部 120 取入的一个或者多个浏览图像的 图像数据。 拍摄图像判断部 130 将判断据结果输出给控制部 110。 关于拍摄图像判断部 130 中的具体处理，将在后面叙述。
图像处理部 140 是对由拍摄部 120 取入的图像数据至少进行 A/D 转换处理的装 置。
通 信 部 150 是 具 有 基 于 USB(Universal Serial Bus ：通 用 串 行 总 线 )1.1 或 者 USB2.0 的标准的、串行传输 / 并行传输、无线数据通信功能的装置。 通信部 150 将在图 像处理部 140 中实施了 A/D 转换处理的拍摄图像数据向图像输出装置 500 发送。
存储部 160 是存储用于进行便携终端装置 100 的各处理的程序、便携终端装置的 机种信息、用户信息、进行处理时所需的数据的装置。 此外，所谓用户信息是指识别便 携终端装置的用户的信息，例如，用户 ID 以及密码等。
显示部 170 是例如由液晶显示器等构成的装置。 另外，输入部 180 具有多个按 钮，并用于用户进行数据输入的装置。另外，存储介质访问部 190 是从存储有用于进行便携终端装置 100 的各处理的程 序的存储介质 1000 读出程序的装置。
控制部 100 是进行便携终端装置 100 的各部的控制的装置。 控制部 110 对通过 按下快门按钮之后的拍摄所得到的拍摄图像数据附加文件名、存储在存储部 160 中的便 携终端装置 100 的机种信息和用户信息以及输出处理信息，使通信部 150 执行向图像输出 装置 500 的发送处理。
(3) 关于拍摄图像判断部的处理
接着，说明便携终端装置 100 的拍摄图像判断部 130 中的具体的处理执行条件的 判断处理。
(3-1) 倾斜度判断
如上所述，在希望拍摄像如原稿这样的矩形的拍摄对象物而得到高分辨率的图 像的情况下，用户选择文档拍摄模式。 因此，假设拍摄对象为矩形，则拍摄图像判断部 130 通过检测出拍摄图像数据中的拍摄对象物 ( 以下，称为拍摄对象像 ) 的边缘，来检测 出相对拍摄图像的拍摄对象像的倾斜度。 此外，作为检测拍摄图像数据表示的拍摄图像 中的拍摄对象像的边缘上的像素的方法，可以使用以往所公开的方法。 另外，为了防止 将背景中的边缘误判断为拍摄对象像的边缘，也可以只检测规定长度以上的边缘作为拍 摄对象像的边缘。 在该情况下，所谓规定长度，例如可以设定为表示拍摄图像数据的拍 摄图像的一端的边长度的 80％左右的长度。 另外，也可以让用户从通过这种方法检测出 的边缘中选择拍摄对象像的边缘。 作为这种检测方法，例如可以使用记载在日本国特许 公开公报 [ 特开 2006-237757 号公报 ] 中的技术。 然后，拍摄图像判断部 130 选择所检测出的拍摄对象像的边缘上的两点。 例 如，如图 5 所示，选择从将表示拍摄图像数据的拍摄图像进行左右二等分的垂直线向左 右横向分别仅离开 w/2 的、原稿图像的边缘上的两点 11、12。 接着，对所选择的两点 11、12 的各个，求出与表示拍摄图像数据的拍摄图像的端边之间的距离 d1、 d2，而能够 求出在拍摄图像中的原稿图像的倾斜度。 在如图 5 的情况下，如果设倾斜角度为 θ，则 tanθ ＝ (d2-d1)/w。 因此，拍摄图像判断部 130 计算出 (d2-d1)/w 的值，从预先制作的 表 ( 参照图 6) 等读取与该值相当的角度 θ。
然后，拍摄图像判断部 130 判断所检测出的角度 θ 是否在规定范围内 ( 例 如，-30°至 +30° )，并将其判断结果向控制部 110 输出。 在此，角度 θ 在规定范围内 成为处理执行条件之一。
(3-2) 几何变形的判断
几何变形是指，在从与在拍摄对象物中记载有文字的矩形平面的法线方向不同 的斜方向拍摄拍摄对象物的情况下，在拍摄图像中拍摄对象像具有从矩形产生变形的形 状。 例如，在相对于原稿的法线方向从纸张的左下方向向斜方向拍摄的情况下，如图 7 所示，原稿图像成为产生变形的四边形。
如后所述，在本实施方式中，图像输出装置 500 具有补偿这种几何变形的功 能。 但是，在几何变形程度较大的情况下，即使进行了补偿，识读性也不会提高很多。 因此，在本实施方式中，拍摄图像判断部 130 检测出表示几何变形程度的特征量，判断 该特征量是否在规定范围内。
在本实施方式中，由于不一定在视角中心附近存在拍摄对象像的各边的边缘， 因此以某规定间隔抽取从所有边开始的边缘，并求出表示各边缘的线段，再计算出这些 的交叉点而作为拍摄对象像的区域即可。
首先，拍摄图像判断部 102 对于拍摄图像数据进行光栅扫描。 这里，如图 7 所 示，设光栅扫描的正向为 X 方向、垂直于 X 方向的方向为 Y 方向。 并且，在拍摄图像 中，设左上角为原点。
进行一行扫描，如果不存在边缘，则拍摄图像判断部 130 对沿 Y 方向错开规定量 的下一行进行扫描。 并且，行间的间隔只要固定即可，没必要一定是 1 个像素。
并且，拍摄图像判断部 130 在光栅扫描中，将最初检测到边缘像素的行设为 L1( 第一行 )，如图 8 所示，将在正向上被判断为最初的边缘的点的坐标储存于第一组 中，将在同一行上被判断为第二个边缘的点的坐标分类到第二组中。 继续进行下一行的 扫描，并进行边缘检测。 并且，关于各个行 Li，求出在正向上第一个被判断为拍摄对象 物的边缘像素的点、与第二个被判断为拍摄对象物的边缘像素的点之间的 X 坐标值的差 (X 坐标的距离 di)，并进行如下判断。
并且，将行 Li 中最初的边缘的 X 坐标设为 Xi1( 被分类为第一组的 X 坐标 )，将 第二个边缘的 X 坐标设为 Xi2( 被分类为第二组的 X 坐标 )。 检测方法如下。 (a) 关于第一行 (L1) 的坐标 Xi1 以及 Xi2，不进行变更。
(b) 关于第二行以后的第 i 行，计算出坐标之间的距离 di1( ＝ Xi1-X(i-1)1) 以及 di2( 同样 )。 以下，为了对 di1 进行说明而省略下标 1，但 di2 也同样。
(c) 关于第三行以后的第 i 行，计算出 ddi ＝ abs{(di)-di-1}。 如果 ddi≤th1( 接近 的较小数值 )，则坐标 Xi 被分类为同一组。 非这种情况 (ddi ＞ th1) 下，则分类为其 他组 ( 第三组或第四组 )。
(d) 作为初始处理，仅在 i ＝ 4 时，进行用于确定 X2 的组的处理。 如下所示。
i)dd3≤th1 且 dd4≤th1 → X2 ：同一组
ii)dd3 ＞ th1 且 dd4≤th1 → X2 ：其他组
iii)dd3≤th1 且 dd4 ＞ th1 → X2 ：同一组
iv)dd3 ＞ th1 且 dd4 ＞ th1 → X2 ：同一组
一旦转移到其他组 ( 第三组或第四组 ) 的情况下，没必要进行增减的确认。
对图像整体进行这种处理，并抽取出属于各组的边缘点。 并且，按每个组，利 用最小二乘法等对属于该组的边缘点的坐标进行直线逼近，而求出逼近属于该组的边缘 点的直线。 该直线相当于拍摄对象像的边。
图 9 是通过如上述的处理，并通过光栅扫描来抽取边缘像素，分类为四个组时 的图。 在图中，圆形记号表示属于第一组的边缘点，四边形记号表示属于第二组的边缘 点，三角形记号表示属于第三组的边缘点，星形记号表示属于第四组的边缘点，并用虚 线表示通过最小二乘法求出的属于各组的边缘像素的逼近直线。
并且，求出针对四个组求出的直线的交点 ( 图中为交点 1 ～ 4)，从而可以将由四 条直线包围的区域特定为拍摄对象物的区域。
并且，也可以对旋转了 90 度的图像进行上述的分类处理。 这样，还可以理想地 抽取与图像内的水平方向 / 垂直方向平行地被配置的原稿的边缘。 即，通过进行光栅扫
描，能够在旋转前的图像中检测出垂直方向的边缘。 另一方面，能够在旋转后的图像中 检测出旋转前为水平方向的边缘 ( 旋转后为垂直方向的边缘 )。 由此，也可以抽取平行于 水平方向 / 垂直方向的边缘。 如果旋转前有充分的信息量 ( 在各组中例如 3 个点以上的 交点 )，则仅使用旋转前的信息即可，任意一个组的交点少于 1 个点的情况下，当然不能 求出直线的式子，因此使用旋转后的交点即可。
或者，也可以仅将求出的交点坐标再次进行坐标变换而还原，并从各个组的分 布区域求出对应的组，综合交点信息，求出直线的式子。 即，由从旋转前的图像求出的 交点坐标、和将从旋转后的图像求出的交点逆旋转获得的交点坐标，综合属于同一组的 交点坐标，并求出直线的方程式即可。
并且，作为边缘像素的抽取方法，对于至少为 1 以上的像素宽度的小窗内的像 素值按原样进行比较 (2 以上的宽度的情况下，比较和 / 平均值 )，在邻接的值的差为 规定以上的情况下，判断为边缘像素即可。 此外，为了防止错误地检测出背景或拍摄 对象像内的文本的边缘等，也可以只将规定长度以上的边缘检测为拍摄对象像的边缘。 在该情况下，所谓规定长度例如设定为由拍摄图像数据表示的拍摄图像的一端的边长的 80％左后的长度即可。 或者，也可以让用户从这样检测出的边缘中选择适合作为拍摄对 象像的边缘的像素。 作为这种检测方法，例如，可以使用日本国特许公开公报 “特开 2006-237757”所述的技术。 或者，也可以通过进行各个坐标组的评价、或进行用于边缘 检测的处理 ( 霍夫变换等 ) 来防止。 并且，作为预处理进行使用了缩小图像的处理，由 此能够防止错误地检测出文本及细小纹理的边缘。 并且，拍摄图像判断部 102，如上所示地求出四条直线及其交点时，计算由该四 条直线形成的四边形的对边的长度比。 该长度比从上述交点的坐标容易地求出。 并且， 由于对边有两组，因此拍摄图像判断部 130 针对于该两组分别求出长度比。
在此，在从正面拍摄拍摄对象物的记载有文档的矩形平面的情况下，由于拍摄 图像中的拍摄对象像也为矩形，因此，对边长度比为 1。 另一方面，从斜向拍摄的情况 下，由于拍摄图像中的拍摄对象像的形状为变形的四边形，因此为不同于 1 的值。 并 且，拍摄方向、与拍摄对象物的记载有文档图像的平面的法线方向所成的角度越大，该 比的值与 1 的差越大。 因此，可以说对边的长度比是表示几何变形的程度的特征量之 一。
其后，拍摄图像判断部 130 判断所求出的两个比的双方是否在规定范围内 ( 例 如，0.5 ～ 2)，并将该判断结果输出到控制部 110。 这里，规定范围是在图像输出装置 500 中作为可补偿的范围预先设定的，并储存于存储部 160 中。 并且，两个比的双方均在 规定范围内 ( 例如，0.5 ～ 2) 是处理执行条件之一。
此外，拍摄图像判断部 130 可以使用包含由如上所述方式检测出的四个交点的 两条直线所形成的角度等，作为表示几何变形程度的另一个特征量。
(3-3) 多张图像偏移量的判断
图像输出装置 500 基于拍摄同一拍摄对象物而获得的多个拍摄图像数据，来执 行超分辨率补偿。 为了执行该超分辨率补偿，需要与分辨率变换的倍率相对应的规定数 量的图像数据偏移规定量。 于是，在本实施方式中，拍摄图像判断部 130 判断在通过拍 摄部 120 的拍摄而获得的多个拍摄图像数据中，是否含有为了在图像输出装置 500 执行该
超析像度补偿所需要的、错开规定量的规定数量的拍摄图像数据。
并且，所谓提高文字的识读性的为了超分辨率补偿所需的偏移是指，作为对象 的图像数据的不足 1 个像素 ( 小数点 ) 的偏移。 即，小数点以下 ( 不足 1 个像素 ) 的值， 例如，0.3 ～ 0.7 等的偏移很重要。 关于整数部分的偏移在超分辨率补偿中不考虑。 例 如，在 1.3 个像素、2.3 个像素等含有不足 1 个像素的偏移的情况下，可以执行基于多个图 像的超分辨率补偿，但是 1 个像素、2 个像素等不含有不足 1 个像素的偏移的情况下，不 能执行超分辨率补偿。
例如，变换倍率为 2 倍的情况下，超分辨率补偿所需的图像数据的数量为 2，作 为两个图像数据的偏移量以像素为单位优选为小数点以下 0.3 ～ 0.7。 因此，在存储部 160 中预先储存有将分辨率变换的倍率 “2 倍”、与拍摄次数 “2” 以及处理执行条件 “必要 图像数据数量 ：2、偏移量 ：0.3 ～ 0.7”进行关联的信息，控制部 110 基于该信息，使拍 摄部 120 进行两次连续拍摄，并使拍摄图像判断部 130 执行按照处理执行条件 “必要图像 数据数量 ：2、偏移量 ：0.3 ～ 0.7” 的判断。
并且，变换倍率为 4 倍的情况下，超分辨率补偿所需的图像数据的数量为 2，设 其中一个图像数据为基准图像数据时，该基准图像数据与剩余的三个图像数据之间的偏 移量分别以像素为单位优选为小数点以下 0.2 ～ 0.3、0.4 ～ 0.6、0.7 ～ 0.8。 因此，存储 部 160 存储有将分辨率变换的倍率 “4 倍”、与拍摄次数 “4” 以及处理执行条件 “必要 图像数据数量 ：4、偏移量 ：0.2 ～ 0.3、0.4 ～ 0.6、0.7 ～ 0.8” 进行关联的信息。
并且，以下为了简化说明，对作为分辨率变换的倍率选择了 2 倍的情况进行说 明。
首先，拍摄图像判断部 130 选择拍摄图像的任意一个，并关于该拍摄图像 ( 以 下，称第一拍摄图像 )，从在上述几何变形的判断时求出的拍摄对象物的区域中选择偏移 检测用部分区域。 这里，由于偏移检测用部分区域用于求出第一拍摄图像与剩余的拍摄 图像 ( 以下，称第二拍摄图像 ) 之间的偏移量，因此优选在该偏移检测用部分区域内像素 值的变化较大的图像 ( 存在明确的图形 )。 于是，拍摄图像判断部 130 通过以下所示方法 来抽取偏移检测用部分区域。
拍摄图像判断部 130 确定拍摄对象物的区域的重心位置上存在的像素，并将该 像素设为关注像素。 并且，选定含有关注像素的 n×n 像素的区域。 关于选定区域，判 断是否满足以下的选定条件，满足的情况下，将该区域设为偏移检测用部分区域。 另一 方面，不满足的情况下，基于规定的偏置量使区域移动，并对移动后的区域进行相同的 判断。 如此，抽取偏移检测用部分区域。
这里，作为选定条件，例如可举出以下两个。 第一个是使用了根据区域内的方 差的值的选定条件。 对于关注像素附近的 n×n 像素的区域，设像素值为 P(i) 时，部分 区域的方差值 Variance(x) 由下式 (1) 表示。 将该方差值 Variance(x) 的值为规定阈值以 上设为选定条件。 并且，为了简化可以仅考虑本式的分子。 …式 (1)
并且，第二个是对于关注像素附近的 n×n 像素的区域，使用如一阶微分滤波那 样的边缘抽取滤波进行处理，进行二值化，并参照该总和的方法。 图 10 表示一阶微分滤 波的例子，这种情况下，也可以将总和为规定阈值以上 ( 例如，部分区域像素数的 5％以 上等 ) 设为选定条件。
其次，对于如此求出的第一拍摄图像的偏移检测用部分图像 A(n×n)，从第二 拍摄图像中分割出中心几乎在同一位置上的偏移检测用部分图像 B(m×n)(m ＞ n)。 该 分割方法中以使第一拍摄图像中偏移检测用部分图像 A 的中心像素的坐标、与第二拍摄 图像中偏移检测用部分图像 B 的中心像素的坐标一致的方式分割出。
其后，以子像素 (sub pixel) 精度求出分割出的偏移检测用部分图像 B 中最适合 偏移检测用部分图像 A 的区域。 作为该方法，可举出以偏移检测用部分图像 A 为模板的 归一化相关模式匹配。
作为归一化相关模式匹配的例子，使用已知的归一化相关式来计算相关。 一般 由 N 像素构成的两个模式 Input(I) 和 Target(T) 的相关式，可以表示为下式 (2)。 这里， α、 β、 γ 分别如下所示。
……式 (2)
例如， n ＝ 5、 m ＝ 7 的情况下，对于每个与偏移检测用部分图像 B(m×m) 中 的偏移检测用部分图像 A 相同大小的区域 (n×n) 运算上述相关式，作为结果生成 3×3 的 相关值 Map。 使用该相关值 Map，求出合适的二次曲面。 作为二次曲面的求出方法，例 如，设 S(x，y) ＝ a ＊ x ＊ x+b ＊ x ＊ y+c ＊ y ＊ y+d ＊ x+e ＊ y+f，选择 9 个点中相关 值较高的 6 个点，解联立方程式而求出各系数。 如果该函数的极值 ( ＝最大值 ) 的坐标 值 (x、y 双方 ) 的小数点以下的值为规定范围 ( 这里为 0.3 ～ 0.7) 内，则判断为满足处理 执行条件 “需要图像数据数 ：2、偏移量 ：0.3 ～ 0.7”。
并且，极值的求出方法是对上述二次式进行偏微分，求出分别为 0 的点的坐标 即可。 此时，实际上没有必要求出各系数 (a ～ f)，因此直接使用相关值 (S1 ～ S6) 则效 率较高。 应求出的式 (3) 如下所示。 这里，原点为关注的窗框标准。
… · 式 (3)并且，虽然至少在一处进行这种子像素精度的位置偏移确认，但希望在多处进 并且，拍摄图像判断部 130 将是否满足处理执行条件的判断结果输出到控制部14行。
110。CN 102025809 A CN 102025823 A
说明书11/27 页(3-4) 拍摄图像的发白、发黑的判断
在数字图像数据中，表示各像素的浓淡程度的浓度值即像素值所能取的范围在 8 位 (0 ～ 255) 的情况较多。 通常，在彩色数字图像数据中的各像素具有各颜色成分 ( 例 如 R、 G、 B) 的像素值。 并且，表示明暗程度的特征量即亮度可以使用以往已知的计算 式 ( 例如， Yi ＝ 0.30Ri+0.59Gi+0.11Bi、 Yi ：像素 i 的亮度信号、 Ri， Gi， Bi ：像素 i 的各 颜色成分 (R、 G、 B) 的值 )，从各颜色成分的像素值中计算出。 在此，在本实施方式 中，这样计算出的亮度可由对被摄体 100％反射率的颜色 ( 白 ) 所能取的范围的最大值即 “255” 来表示，完全的黑色是由最小值即 “0” 来表示。 便携终端装置 100 生成像素值 由 8 位表示的拍摄图像数据。
在便携终端装置 100 中，在以曝光过度来拍摄的情况下，发生拍摄图像的高亮 度部分饱和而在拍摄图像数据中用适当的曝光拍摄时以不同的像素值表现的部分的亮度 全部变成接近 “255” 的值的发白现象。 同样，在以曝光不足来拍摄的情况下，发生拍 摄图像的暗的部分变黑而在拍摄图像数据中用适当的曝光拍摄时以不同的像素值表现的 部分的亮度全部变成例如 “30” 以下的发黑现象。
在拍摄图像判断部 130 中，进行发白判断、发黑判断，从而判断是否为没有发 生发白、发黑的最佳图像。 下面，参照图 21 说明发白判断。 图 21 的 (a) 是表示发生发 白的图像，图 21 的 (b) 是表示原先显示白色物体的图像。 另外，图 21 的 (c)、图 21 的 (e) 表示将图 21 的 (a) 的图像如后所述地进行了二值化的二值化图像，图 21 的 (d)、图 21 的 (f) 表示将图 21 的 (b) 的图像如后所述地进行了二值化的二值化图像。 再有，图 21 的 (g)、图 21 的 (h) 表示为了判断是否发生了发白而最终生成的二值图像。
最初，拍摄图像判断部 130 利用下述式 (4) 将拍摄图像数据的各像素值转换成亮度值。 Yj ＝ 0.30Rj+0.59Gj+0.11Bj ……式 (4)
在此， Yj 为各像素的亮度值， Rj、 Gj、 Bj 为表示各像素的颜色成分。
接着，拍摄图像判断部 130 制作二值化图像 A( 图 21 的 (c)、图 21 的 (d) 的图 像 )，该二值化图像 A 是将由第一阈值 ( 例如，亮度值 250) 以上的亮度构成的高亮度区 域设为表示白的 “1”，将除此之外的区域设为表示黑的 “0”。 再有，拍摄图像判断 部 130 制作二值化图像 B( 图 21 的 (e)、图 21 的 (f) 的图像 )，该二值化图像 B 是将由小 于第一阈值的第二阈值 ( 例如，亮度值 240) 以上的亮度构成的高亮度区域设为表示白的 “1”，将除此之外的区域设为表示黑的 “0”。
然后，拍摄图像判断部 130 制作表示二值化图像 A 和二值化图像 B 的 XOR( 逻 辑异或 ) 的二值图像 ( 以下，称为 XOR 图像 )。 拍摄图像判断部 130 在所制作的 XOR 图像为如图 21 的 (g) 所示的图像的情况下，即 XOR 图像中包含 “1” 的情况下，判断 为由 “1” 的像素包围的中心部分发生发白。 另一方面，拍摄图像判断部 130 在所制作 的 XOR 图像为如图 21 的 (h) 所示的图像的情况下，即 XOR 图像中不包含 “1” 的情况 下，判断为未发生发白。
下面，说明用这种方法判断发白为妥当的理由。
可以认为在高亮度区域中存在发生发白的地方和不发生发白而原先显示白色物 体的地方这两种。
在发生发白的地方的特征在于，随着离开聚光灯最强地照射到的地方，亮度值 逐渐变小。 即，关于发生发白的地方，可以认为二值化图像 B 的高亮度区域是包含二值 化图像 A 的高亮度区域的、比二值化图像 A 的高亮度区域宽的区域。 因此，在二值化图 像 A 和二值化图像 B 的 XOR 图像中，虽然是二值化图像 B 的高亮度区域但不是二值化图 像 A 的高亮度区域的区域 ( 发生发白的区域的附近 ) 上容易出现 “1”。
另一方面，与原先显示白色物体的地方相邻的区域的颜色通常成为 “白” 之外 的颜色，不属于高亮度区域。 即，不管是二值化图像 A 还是二值化图像 B，关于显示白 色物体的地方，只有该地方成为高亮度区域，与显示白色物体的地方相邻的区域，通常 不管是二值化图像 A 还是二值化图像 B 都不会成为高亮度区域。 因此，二值化图像 A 的高亮度区域和二值化图像 B 的高亮度区域一致，而在二值化图像 A 和二值化图像 B 的 XOR 图像中不容易出现 “1”。
以上，说明了发白判断方法妥当的理由，以与发白判断相同的方法可以进行发 黑判断。
即，拍摄图像判断部 130 制作将由第三阈值 ( 例如，亮度值 10) 以下的亮度构成 的低亮度区域设为表示黑的 “0” 且将除此之外的区域设为表示白的 “1” 的二值化图像 C。 再有，拍摄图像判断部 130 制作将由大于第三阈值的第四阈值 ( 例如，亮度值 30) 以 下的亮度构成的低亮度区域设为表示黑的 “0” 且将除此之外的区域设为表示白的 “1” 的二值化图像 D。 然后，拍摄图像判断部 130 生成表示二值化图像 C 和二值化图像 D 的 XOR 的 XOR 图像，并且，如果在该 XOR 图像中含有 “1”，则判断为在其近旁发生了发黑，如 果不包含 “1”，则判断为未发生发黑。
此外，发白判断处理、发黑判断处理优先对用户按下快门按钮之前取入的浏览 图像的图像数据进行。 但是，也可以对按下快门按钮时拍摄而得到的拍摄图像数据进 行。
另外，说明了在 XOR 图像中包含 “1” 的情况下，判断为发生了发白、发黑， 在 XOR 图像中不包含 “1” 的情况下，判断为未发生发白、发黑，但是，也可以在 XOR 图像中含有规定数量以上的 “1” 的情况下，判断为发生了发白、发黑，在 XOR 图像中 不包含 “1” 的情况下，判断为未发生发白、发黑。
(4) 拍摄部 120 中的处理
在从控制部 110 接收到由拍摄图像判定部 130 判断为发生了发白的意思的通知 时，拍摄部 120 在显示部 170 显示改变曝光条件 ( 光圈、快门速度、增益等 ) 的意思。 然 后，自动改变曝光条件并进行多张的拍摄。 具体而言，当检测到快门按钮的按下时，拍 摄部 120 对不同的多种曝光条件，按每个曝光条件拍摄一张以上的图像。
(5) 关于向图像输出装置 500 发送的发送数据
如上所述，由拍摄图像判断部 130 进行拍摄图像的判断之后，拍摄部 120 以不 同的多种曝光条件，按每种曝光条件拍摄一张以上的相同对象物。 控制部 110 按每种曝 光条件将文件名赋予给各拍摄图像数据，以便所拍摄到的多个拍摄图像数据能够相互关 联。 作为文件名的赋予方法，例如如 “ABC_1.jpg”、“ABC_2.jpg”... 那样，只有编号 部分互相不同而其他部分相同即可 ( 按每种曝光条件改变文件名，对所拍摄到的多张拍
摄图像数据赋予编号。 例如，只要设为区别与拍摄对象有关的文件名 _ 曝光条件的、文 件名 ( 例如，条件 1)_ 编号即可 )。 然后，控制部 110 将便携终端装置 100 的机种信息、 用户信息以及输出处理信息与所拍摄到的多张拍摄图像数据相关联并向图像输出装置 500 发送。
此外，控制部 110 为了使所拍摄到的多个拍摄图像数据相互关联而按每种曝光 条件生成用于识别这些拍摄图像数据与其他拍摄图像数据的标签信息。 在该情况下，控 制部 110 将所拍摄到的多个拍摄图像数据与其标签信息、机种信息、用户信息以及输出 处理信息关联起来并向图像输出装置 500 发送。
(6) 图像输出装置的结构
接着，基于图 10、图 12 至图 20，说明本实施方式涉及的图像输出装置 500 的结 构。 在本实施方式中，图像输出装置 500 为具备扫描、打印、复印机等功能的复合机。
图 12 是表示图像输出装置 500 的结构的框图。 图像输出装置 500 具备 ：控制部 510、图像读取部 520、图像处理部 530、认证部 540、图像形成部 550、显示部 560、存储 部 570、输入部 580、第一通信部 590、第二通信部 600 以及存储介质访问部 610。
图像读取部 520 是读取原稿的装置，且具有具备 CCD(Charge Coupled Device) 的 扫描部，将从原告反射过来的光转换成被分解为 RGB 颜色的电信号 ( 模拟图像信号 )， 并输出该电信号的装置。
图像处理部 530 是对图像数据进行规定的图像处理的装置。 在本实施方式中， 图像处理部 530 对从便携终端装置发送来的拍摄图像数据进行包括超分辨率补偿等的图 像处理。 如图 20 所示，图像处理部 530 具备画质调节部 531、几何补偿部 532、透镜变 形补偿部 533、超分辨率处理部 534、图像补偿部 535。 此外，在后面详细叙述图像处理 部 530 对拍摄图像数据进行的图像处理。
认证部 540 是在进行从便携终端装置 100 接收到的拍摄图像数据的输出处理时， 进行用户认证的装置。 具体而言，认证部 540 对照从便携终端装置 100 接收到的用户信 息和被输入到输入部 580 的用户信息 ( 用户 ID 以及密码 ) 并进行用户认证。 认证部 540 将认证结果发送给控制部 510。
图像形成部 550 是例如使用电子照片方式、喷墨方式，在纸等的记录纸张上形 成图像的装置。 即，图像形成部 550 是执行输出处理的一种的印刷处理的装置。
显示部 560，例如由液晶显示器等构成。 另外，输入部 580 是用于例如通过按下 液晶显示器的触摸面板、按钮等来进行数据输入的装置。
第一通信部 590 是具有基于 USB1.1 或 USB2.0 的标准的、串行传输、并行传输、 无线数据通信功能的装置。 第一通信部 590 从便携终端装置 100 接收附加了标签信息、 文件名、便携终端装置 100 的机种信息、用户信息以及输出处理信息的多个拍摄图像数 据。
第二通信部具有 (a) 利用基于无线 LAN 的标准、即 1EEE802.11a、 IEEE802.11b 以及 IEEE802.11g 的任一种的无线技术的数据通信 ；(b) 具有利用以太网 ( 注册商标 ) 的通信用接口功能，经由 LAN 电缆与网络的数据通信 ；(c) 利用基于作为无线通信标 准、即 IEEE802.15.1( 所谓的 Bluetooth( 注册商标 ))、 IrSimple 等的红外线通信标准、 Felica( 注册商标 ) 等通信方式中的任一种的无线技术的数据通信功能。第二通信部 600 作为输出处理执行归档处理或者邮件发送处理，其中，该归档 处理是将实施了超分辨率补偿的拍摄图像数据存储到服务器的处理，该邮件发送处理是 发送附加有实施了超分辨率补偿的拍摄图像数据的邮件的处理。
存储介质访问部 610 是从记录有程序的存储介质中读出程序的装置。 存储部 570 是用于存储上述各部执行处理用的程序的装置。
控制部 510 是进行图像输出装置 500 的各部的控制的装置。 具体而言，当通信 部 590 从便携终端装置 100 接收到与标签信息相关联的多个拍摄图像数据时，控制部 510 将该多个拍摄图像数据向图像处理部 530 输出并使其执行图像处理。 另外，控制部 510 将附加在图像数据上的用户信息向认证部 540 输出，使认证部 540 执行认证处理。 当从 认证部 540 接收到认证成功的认证结果时，控制部 510 按照附加在拍摄图像数据上的输出 处理信息来执行处理。 即，在输出处理信息表示印刷处理的情况下，控制部 510 通过图 像处理部 530 实施图像处理，并使图像形成部 550 执行基于作为无发白、发黑的最佳图像 而选择的、拍摄图像数据的印刷。 另外，在输出处理信息表示归档处理或邮件发送处理 的情况下，控制部 510 使第二通信部 600 执行基于由图像处理部 530 实施了图像处理的拍 摄图像数据的、归档处理或者邮件发送处理。
(6) 关于图像处理部中的图像处理
接着，详细说明图像处理部 530 执行的图像处理。
此外，图像处理部 530 对图像读取部 520 读取到的图像数据也进行图像处理，但 在此，说明对从便携终端装置 100 接收到的多个拍摄图像数据进行的图像处理的内容。
在本实施方式中，图像处理部 530 对从便携终端装置 100 发送过来的拍摄图像 数据进行色彩平衡等的补偿、几何变形的补偿、透镜变形的补偿以及超分辨率补偿。 下 面，说明各处理。
(6-1) 色彩平衡、对比度、亮度的补偿
图像处理部 530 的画质调节部 530 进行色彩平衡、对比度的补偿。
作为色彩平衡的补偿方法，画质调节部 531 可以对所接收到的拍摄图像数据求 出各颜色通道的最大值、最小值，并制作具备这些的查找表，适用于各颜色通道。 作为 查找表的一例，如图 17 所示，可以制作在某个频道的最大值为 MX 且最小值为 MN 的情 况下，在数据 8 位时，从 MN 以 (MX-MN)/255 的间距增加的表。
画质调节部 531 可以对对比度补偿以相同方法执行。 此外，如果没有特别需要 改变色彩平衡，则适用于各颜色通道的查找表也设为相同的表。
此外，对于色彩平衡、对比度的补偿方法，可以适用其他公知技术。 (6-2) 几何 变形的补偿、透镜变形的补偿
图像处理部 530 的透镜变形补偿部 533 是与拍摄图像判断部 130 中处理相同地， 通过光栅扫描而依次检测出拍摄图像中的拍摄对象物的边缘上的点。 然后，透镜变形补 偿部 533 对所检测出的边缘上的点进行曲线近似，根据该曲线式进行透镜变形补偿。
具体而言，如图 15 的实线所示，透镜变形补偿部 533 检测出所检测出的拍摄对 象像的边缘点，并与拍摄图像判断部 130 相同地，将各边缘点分类为与拍摄对象像的四 个边对应的四个组。 然后，对属于各组的边缘点进行二次曲线近似。 这样对四组求出的 二次曲线是对应于拍摄对象像的四个边。 另外，透镜变形补偿部 533 求出相当于由四条二次曲线包围的区域的角部的、四条二次曲线的交点。 接着，透镜变形补偿部 533 求出 外切于对各边求出的二次曲线且共同外切于连接四个交点的四边形 ( 在图 5 中用虚线表 示 ) 的四边形 ( 在图 15 中用点划线表示 )。 然后，透镜变形补偿部 533 以如上求出的外 切四边形成为补偿后的拍摄对象像的边缘像素的位置的方式变换拍摄图像中的拍摄对象 像的区域内的像素位置。 该变换可以基于自基准点 ( 例如拍摄对象像的区域的重心点 ) 的矢量来计算。 由此，能够补偿因便携终端装置 100 的拍摄部 120 而产生的透镜变形。
另外，图像处理部 530 的几何补偿部 532 如下地执行几何变形补偿。 几何补偿 部 532，例如如图 16 所示，将如上所述地求出的外接四边形对照对象物的纵横比 ( 例如， 商务文件所使用的 A 型 B 型纸张的话 7 ∶ 10 等 ) 来同样地进行映像变换即可。 作为该 映像变换可以使用公知的技术。 此外，几何补偿部 532 既可以以符合预先存储在存储部 570 中的纵横比的方式进行变换，也可以以符合被输入到输入部 580 中的纵横比的方式进 行变换。
此外，作为几何变形的补偿以及透镜变形的补偿方法，不限定于上述方法，也 可以使用公知技术。
(6-3) 使用多个图像数据的超分辨率补偿
超分辨率处理部 534 是进行从便携终端装置 100 接收到的拍摄图像数据的超分辨 率补偿的装置。 在本实施方式中，超分辨率处理部 534 从便携终端装置 100 接收到的多 个拍摄图像数据中，对由图像补偿部 535 选择了的发白、发黑较少的最佳的拍摄图像数 据进行超分辨率补偿。
关于从多个图像数据制作高分辨率图像的方法，在影像信息媒体学会杂志 Vo1.62、 No.3、 pp.337 ～ 342(2008) 中介绍了几种方法。 通常，高分辨率补偿是通过多 个图像的位置对齐处理和重构处理而成立的。 在本实施方式中，作为位置对齐处理的例 子，适用上述 (3-3) 记载的归一化相关图案匹配的方法。 即，通过只偏移上述 S(x， y) 表示极大值的偏移量，能够进行多个图像的位置对齐。
接着，图像处理部 530 的超分辨率处理部 534 进行重构处理。 即，超分辨率处理 部 534 制作具有与分辨率变换后的倍率对应的像素数量的重构图像数据。 其中，图像大 小设为与拍摄图像的大小相同。 然后，超分辨率处理部 534 如下地决定重构图像数据的 各像素的像素值。 即，超分辨率处理部 534 对于重构图像数据中的各像素 ( 重构像素 )， 从多个拍摄图像中决定成为该重构像素附近的拍摄图像的像素 ( 拍摄像素 )，并通过一般 的插补方法 ( 线形插补、双三次插补法 ) 进行插补。
具体而言，如图 14 所示，在横方向、纵方向的各自上选择关注的重构像素附近 的拍摄像素，例如连接拍摄像素的点阵的线 ( 图中的虚线 ) 为最近距离的两点。 在此， 设为在横方向上的最近距离的两点为第一张的拍摄图像的拍摄像素 1-2( 像素值 ：Vi1-2 ： 以下相同 ) 以及拍摄像素 1-4，在纵方向上的最近距离的两点为第二张的拍摄图像的拍摄 像素 2-1 以及拍摄像素 2-2。 此外，设为在选择重构像素附近的拍摄像素时，从执行了上 述几何变形的补偿、透镜变形的补偿的多个拍摄图像数据中选择。 由此，能够在进行了 几何变形、透镜变形的补偿的状态下进行超分辨率补偿。 或者，在计算补偿后的坐标值 时，可以将考虑了作为基础的多个拍摄图像的相应的几何补偿、透镜变形补偿的、坐标 值为基础求出。 即，可以只计算出几何补偿、透镜变形的补偿值，进行重构处理之后，通过该补偿值进行坐标变换。
然后，求出垂直于连接对横方向以及纵方向的各自所选择的两点的线段且包含 关注的重构像素点的直线和该线段的交点。 如图 14 所示，在该交点对两条线段的各自以 t ：1-t、u ：1-u 进行内分的情况下，超分辨率处理部 534 根据下述式 5 来求出关注的重构 像素的像素值 Vs 即可。 在该情况下，进行了线性插补。 然后，对于所有的重构像素， 同样地求出像素值，而能够生成高分辨率化的重构图像数据。
VS ＝ {(1-t)Vi1-2+tVi1-4+(1-u)Vi2-1+uVi2-2}/2 ……式 (5)
此外，作为插补方法也可以利用别的方法。 另外，也可以利用在影像信息媒体 学会杂志 Vo1.62、 No.3、 pp.337 ～ 342(2008) 中介绍的别的方法。 例如，也可以利用如 MAP(Maximum A Posteriori ：最大后验概率 ) 方法那样的、先使与基于推定的事后概率对 应的评价函数最小化来求出的方法。
(6-4) 使用一个图像数据的超分辨率补偿
如上所述，在从便携终端装置 100 接收到多个拍摄图像数据的情况下，图像输 出装置 500 基于该多个拍摄图像数据进行超分辨率补偿，但在接收到一个拍摄图像数据 的情况下，也可以基于一个拍摄图像数据进行超分辨率补偿。
关于来自一个图像数据的高分辨率图像制作方法，在影像信息媒体学会杂志 Vol.62、 No.2、 pp.181 ～ 189(2008) 中介绍了几种方法。
通常，检测图像图案的边缘方向性，根据其方向进行插补的同时，可以通过进 行以去除因插补而产生的变形、输入图像中存在的噪声成分的影响等为目的的噪声去除 处理来执行超分辨率补偿。 下面，详细说明。
图 19 是表示本实施方式中的超分辨率补偿的处理的流程的流程图。
在此，说明对横方向、纵方向的各自进行两倍的分辨率变换的例子。 在进行两 倍的分辨率变换的情况下，在将成为补偿对象的拍摄图像数据的像素量设为 n×m 时，补 偿后的高分辨率图像数据的像素数量为 2n×2m。 这种超分辨率补偿 ( 两倍的分辨率变 换 ) 是通过以下方式来执行，即，将拍摄图像数据中的各像素设为基准像素，在该基准 像素之间的中央生成新的像素作为插补像素，生成具备该基准像素和插补像素两者的图 像数据作为高分辨率图像数据。
首先，图像处理部 530 对第一通信部 590 接收到的拍摄图像数据进行边缘抽取。 例如，图像处理部 530 使用如图 10 所示的一阶微分滤波器进行边缘抽取，进行二值化处 理而生成二值化图像数据 (S41)。 此外，如果在二值化图像数据中像素值为 1，则表示其 是边缘的可能性高的像素。
接着，图像处理部 530 基于在 S1 中生成的二值化图像数据，判断拍摄图像数据 中的关注像素是否为边缘 (S42)。 具体而言，如果二值化图像数据中的与关注像素对应 的像素值为 1，则图像处理部 530 判断为该关注像素为边缘。
此外，所谓关注像素是将拍摄图像数据中的各像素按照任意顺序关注时所关注 的像素。
在关注像素为边缘的情况 (S42 中为 “是” ) 下，图像处理部 530 使用含有关注 像素的 N×N(N ＞ 1) 部分图像来检测边缘方向 (S43)。 具体而言，对包含在 N×N 部分 图像中的所有的基准像素，判断是否为边缘像素。 然后，在关注像素的左上的基准像素和右下的基准像素为边缘像素的情况下，图像处理部 530 判断为部分图像中的边缘方向 为左上 - 右下方向。 同样，在关注像素的左边的基准像素和右边的基准像素为边缘像素 的情况下，判断为边缘方向是左 - 右方向，在关注像素的上边的基准像素和下边的基准 像素为边缘像素的情况下，判断为边缘方向是上 - 下方向，在关注像素的右上的基准像 素和左下的基准像素为边缘像素的情况下，判断为边缘方向是右上 - 左下方向。
在图 18(a) ～图 18(d) 中，虚线表示所检测出的边缘方向。 此外，在图 18(a) ～ 图 18(d) 中，像素 (1) 至 (9) 为基准像素，其中的像素 (5) 为关注像素。 然后，像素 A、 B、C 分别是基准像素 (1) 和 (5) 之间的插补像素、基准像素 (2) 和 (5) 之间的插补像素、 基准像素 4 和 5 之间的插补像素。
接着，图像处理部 530 根据 S43 中检测出的边缘方向，通过插补求出关注像素的 左上的插补像素 A、关注像素的上边的插补像素 B、关注像素的左边的插补像素 C 的像素 值。 此时，使用沿着边缘方向的基准像素来求出插补像素的像素值。
在边缘方向为左上 - 右下方向的情况下，如图 18(a) 所示，基准像素 (1)、(5)、 (9) 为边缘像素，连接这些像素的线成为边缘线。 并且，关于边缘线上的插补像素 A 的 像素值 VA( 在图中省略了 “V” 的标记。 以下相同 )，使用邻接于插补像素 A 的边缘线 上的基准像素 (1)( 像素值 V(1) 以及基准像素 (5)( 像素值 V(5)) 的像素值，并通过以下 式来求出。
VA ＝ (V(1)+V(5))/2
另一方面，关于不在边缘线上的插补像素 B、 C，使用除去边缘线上的基准像素 的基准像素中的、包含最接近于该插补像素的基准像素 ( 最接近基准像素 ) 且在平行于边 缘方向的线上的基准像素，来进行插补。 例如，在图 18(a) 中，关于插补像素 B，包括 作为最接近基准像素的基准像素 (2) 且平行于边缘方向的线是连接基准像素 (2) 和 (6) 的 线。 并且，从插补像素 B 垂直于该线上的点是内分连接基准像素 (2) 和 (6) 的线段。 因 此，插补像素 B 的像素值 VB 是使用以下式来求出。
VB ＝ (9×V(2)+4×V(6))/13
同样，插补像素 C 的像素值 VC 是使用最接近的基准像素即基准像素 (4) 和包 含该基准像素 (4) 且平行于边缘方向的线上的基准像素 (8) 的像素值，并通过以下式来求 出。
VC ＝ (9×V(4)+4×V(8))/13
另外，在边缘方向为左 - 右方向的情况下，如图 18(b) 所示，基准像素 (4)、 (5)、(6) 为边缘像素，连接这些像素的线成为边缘线。 并且，关于边缘线上的插补像素 C 的像素值 VC，使用邻接于插补像素 C 的边缘线上的基准像素 (4)( 像素值 V(4) 以及基 准像素 (5)( 像素值 V(5)) 的像素值，并通过以下式来求出。
VC ＝ (V(4)+V(5))/2
另一方面，关于不在边缘线上的插补像素 A、 B，使用除去边缘线上的基准像素 的基准像素中的、包含最接近于该插补像素的基准像素 ( 最接近基准像素 ) 且平行于边缘 方向的线上的基准像素，来进行插补。 例如，在图 18(b) 中，关于插补像素 A，包含最 接近的基准像素即基准像素 (1) 或 (2) 且平行于边缘方向的线是连接基准像素 (1) 和 (2) 的线。 并且，从插补像素 A 垂直于该线的点存在于基准像素 (1) 和 (2) 的中央。 因此，插补像素 A 的像素值 VA 是使用以下式来求出。
VA ＝ (V(1)+V(2))/2
关于插补像素 B，包含最接近的基准像素即基准像素 (2)，平行于边缘方向的线 是连接基准像素 (1) 和 (2) 和 (3) 的线。 并且，从插补像素 B 垂直于该线的点与基准像 素 (2) 一致。 因此，插补像素 B 的像素值 VB 为与基准像素 (2) 的像素值 V(2) 相同的 值。
另外，在边缘方向为右上 - 左下的情况下，如图 18(c) 所示，基准像素 (3)、 (5)、 (7) 为边缘像素，连接这些像素的线成为边缘线。 并且，插补像素 A、 B、 C 均不 存在于边缘线上。
关于插补像素 A，最接近基准像素成为基准像素 (1)、 (2)、 (4)。 在此，基准 像素 (2)、(4) 虽然位于平行于边缘方向的同一线上，但基准像素 (1) 不位于该线上。 在 此，关于插补像素 A 的像素值 VA，使用最接近基准像素即基准像素 (1)、(2)、(4) 的像 素值，并通过以下式来求出。
VA ＝ (V(1)+V(2)+V(4))/3
另一方面，关于插补像素 B、 C，使用除了边缘线上的基准像素之外的基准像素 中的、包含最接近于该插补像素的基准像素 ( 最接近基准像素 ) 且在平行于边缘方向的线 上的基准像素，来进行插补。 例如，在图 18(c) 中，关于插补像素 B，包含最接近基准 像素即基准像素 (2) 且平行于边缘方向的线是连接基准像素 (2) 和 (6) 的线。 并且，从 插补像素 B 垂直于该线上的点内分连接基准像素 (2) 和 (4) 的线段。 因此，插补像素 B 的像素值 VB 是使用以下式来求出。 VB ＝ (9×V(2)+4×V(4))/13
同样地，插补像素 C 的像素值 VC 是使用最接近基准像素即基准像素 (4) 和包含 该基准像素 (4) 且在平行于边缘方向的线上的基准像素 (2) 的像素值，并通过以下式来求 出。
VC ＝ (4×V(2)+9×V(4))/13
另外，在边缘方向为上 - 下方向的情况下，如图 18(d) 所示，基准像素 (2)、 (5)、(8) 为边缘像素，连接这些像素的线成为边缘线。 并且，关于边缘线上的插补像素 B 的像素值 VB，使用邻接于插补像素 B 的边缘线上的基准像素 (2) 以及基准像素 (5) 的 像素值，并通过以下式来求出。
VC ＝ (V(2)+V(5))/2
另一方面，关于不在边缘线上的插补像素 A、 C，使用除了边缘线上的基准像素 的基准像素中的、包含最接近于该插补像素的基准像素 ( 最接近基准像素 ) 且在平行于边 缘方向的线上的基准像素，来进行插补。 例如，在图 18(d) 中，关于插补像素 A，包含 最接近基准像素即基准像素 (1) 或 (4) 且平行于边缘方向的线是连接基准像素 (1) 和 (4) 的线。 并且，从插补像素 A 垂直于该线的点是存在于基准像素 (1) 和 (4) 的中央。 为 此，插补像素 A 的像素值 VA 是通过以下式来求出。
VA ＝ (V(1)+V(4))/2
关于插补像素 C，包含最接近基准像素即基准像素 (4) 且平行于边缘方向的线是 连接基准像素 (1) 和 (2) 和 (3) 的线。 并且，从插补像素 C 垂直于该线的点是与基准像
素 (4) 一致。 为此，插补像素 C 的像素值 VC 是与基准像素 (4) 的像素值 V(4) 相同的 值。
此外，存储部 570 预先存储有将边缘方向和用于求出插补像素 A、 B、 C 的像素 值的运算式相对应起来的信息。 并且，图像处理部 530 从存储部 570 读出与在 S43 中检 测出的边缘方向对应的运算式，基于所读出的运算式来求出插补像素 A、 B、 C 的像素值 即可。
此外，在图 18(a) ～图 18(d) 中只表示边缘方向为直线状的情况。 但是，也存 在边缘在 N×N 的部分图像内弯曲的情况。 例如，有边缘如基准像素 (2)-(5)-(4) 地弯 曲的情况，或边缘基准像素 (1)-(5)-(7) 地弯曲的情况等。 关于这种情况，也预先存储 有与用于求出插补像素 A、B、C 的像素值的运算式相对应起来的信息。 例如，在边缘如 基准像素 (2)-(5)-(4) 地弯曲的情况下，关于插补像素 A 存储与图 18(c) 相同的运算式， 关于插补像素 B 存储与图 18(b) 相同的运算式，关于插补像素 C 存储与图 18 的 (d) 相同 的运算式。 另外，在边缘如基准像素 (1)-(5)-(7) 地弯曲的情况下，关于插补像素 A 储 存与图 18(a) 相同的运算式，关于插补像素 B 存储与图 18(a) 相同的运算式，关于插补像 素 C 存储与图 18(d) 相同的运算式。 关于其他边缘方向的模式，也同样地存储。
这样，图像处理部 530 求出位于被判断为边缘像素的基准像素周围的插补像素 的像素值。
另一方面，在关注像素不是边缘的情况 ( 在 S42 中为 “是” ) 下，图像处理部 530 通过一般的插补运算法 ( 双线性 (Bi-linear)、双立方 (Bicubic) 等 ) 求出与该关注像 素的左上邻接的插补像素 A、在该关注像素的上边邻接的插补像素 B、该关注像素的左边 的插补像素 C 的像素值 (S44)。
图像处理部 530 通过对包含在拍摄图像数据中的所有的基准像素执行上述的 S42 ～ S44 的处理，而生成具备基准像素和插补像素两者的插补图像数据 (S45)。
之后，图像处理部 530 对所生成的插补图像数据进行高画质化处理。 例如，图 像处理部 530 将去除噪声的滤波器、清晰化 (sharpen) 滤波器等适用于插补图像数据而生 成高分辨率图像数据。 现有的非锐化掩模 (unsharp mask)、图 10 的中央系数为 5 的图像 数据成为清晰化滤波器。 另外，作为去除噪声的中值滤波器 (Median Filter) 等已广为人 知。 作为更高明的方法，也可以是用兼具上述边缘保持性和高画质化的方法 Bilateral 滤 波器 [Proceedings of the 1998IEEE International Conference on Computer Vision] 等。
此外，图像处理部 530 不限定于上述的方法，也可以使用影像信息媒体学会杂 志 Vol.62、No.2、pp.181 ～ 189(2008) 所述的各种方法，从一个拍摄图像数据生成高分辨 率图像数据。
7) 拍摄图像处理系统的图像处理方法
下面，基于图 2 以及图 13，说明拍摄图像处理系统的处理的流程。 此外，图 2 是表示便携终端装置 100 的处理流程，图 13 是图像处理装置 500 的处理流程。
首先，便携终端装置 100 进行拍摄模式的选择受理。 在此，在用户希望拍摄包 含文档图像的纸张或显示画面等矩形的拍摄对象物，并通过图像输出装置 500 将拍摄图 像进行高分辨率化而输出的情况下，选择文档拍摄模式。
在接收了文档拍摄模式的选择输入的便携终端装置 100 中，控制部 110 在显示部170 显示催促输入进行超分辨率补偿时的分辨率变换的倍率的画面，并从输入部 180 获得 该倍率。 控制部 110 根据所获得的倍率来决定拍摄部 120 中的拍摄次数、拍摄图像判断 部 130 中的处理执行条件的一部分。 另外，控制部 110 在显示部 170 显示催促输入输出 处理的种类以及用于输出处理的设定条件的画面，并从输入部 180 获得输出处理信息。
然后，如果控制部 110 从输入部 180 获得输出处理信息，则拍摄部 120 开始取入 拍摄对象物的图像 (S1)。 然后，控制部 110 将通过图像处理部 140 实施 A/D 转换处理而 得到的图像显示于显示部 170。 此外，在下面，将虽然显示于显示部 170 但未固定地记录 在存储部 160 中的图像称为 “浏览图像”。
如果检测到快门按钮被按下，则拍摄图像判断部 130 对于表示拍摄图像 ( 或者浏 览图像 ) 的图像数据进行发白、发黑判断 (S2)。 在此，关于发白、发黑判断处理，参照 图 4 详细说明。 图 4 是表示发白、发黑判断处理中的拍摄图像判断部 130 进行的动作的 流程图。
拍摄图像判断部 130 通过 (3-4) 记载的方法，从所判断的拍摄图像生成将亮度值 250 以上的像素设为白 ( 像素值 1) 且将亮度值不到 250 的像素设为黑 ( 像素值 0) 的二值 化图像 A(S71)。
同样，拍摄图像判断部 130 从所判断的拍摄图像生成将亮度值 240 以上的像素设 为白 ( 像素值 1) 且将亮度值不到 240 的像素设为黑 ( 像素值 0) 的二值化图像 B(S72)。
然后，拍摄图像判断部 130 生成通过取二值化图像 A 以及二值化图像 B 的 XOR 而得到的二值图像 (XOR 图像 )(S73)。
拍摄图像判断部 130 判断在 XOR 图像中是否存在像素值 “1”的像素且其像素的 坐标是否存在于二值化图像 A 的像素值 “1” 的区域周围的规定范围内 (S74)，在 “1” 存在于上述规定的范围内的情况 ( 在 S74 中为 “是” ) 下，判断为发白图像 (S75)，并返 回到图 3 的 S3 的处理。 另一方面，在 “1” 不在上述规定范围内的情况 ( 在 S74 中为 “否” ) 下，判断为不是发白图像 (S76)，并进入到 S77 的处理。
接着，拍摄图像判断部 130 通过 (3-4) 记载的方法，从所判断的拍摄图像生成将 亮度值 10 以下的像素设为黑 ( 像素值 0) 且亮度值大于 10 的像素设为白 ( 像素值 1) 的二 值化图像 C(S77)。
同样，拍摄图像判断部 130，从所判断的拍摄图像生成将亮度值 30 以下的像素 设为黑 ( 像素值 0) 且将亮度值大于 30 的像素设为白 ( 像素值 1) 的二值化图像 D(S78)。
然后，拍摄图像判断部 130 生成取二值化图像 C 以及二值化图像 D 的 XOR 而得 到的二值化图像 (XOR 图像 )(S79)。
拍摄图像判断部 130 判断在 XOR 图像中是否存在像素值 “1” 的像素且其像素 的坐标是否在二值化图像 C 的像素值 “0” 的区域周围的规定范围内 (S80)，在 “1” 存 在于上述规定的范围内的情况 ( 在 S80 中为 “是” ) 下，判断为发黑图像 (S81)，并返 回到图 3 的 S3 的处理。 另一方面，在 “1” 不在上述规定范围内的情况 ( 在 S80 中为 “否” ) 下，判断为不是发黑图像 (S82)，并返回到图 3 的 S3 的处理。
拍摄图像判断部 130 判断在拍摄图像中是否不存在发白以及发黑，即图像是否 为适当 (S3)，在判断为不适当的图像的情况 ( 在 S3 中为 “否” ) 下，控制部 110 在显示 部 170 显示催促再拍摄的意思的信息等，并通知用户 (S5)。 然后，拍摄部 130 以多个不同的曝光条件，按每个曝光条件进行一张以上的拍摄 (S6)。 然后，生成标签信息 (S7)， 并进入 S8 的处理。
另一方面，在拍摄图像判断部 130 判断为适当图像的情况 ( 在 S3 中为 “是” ) 下，控制部 110 不改变曝光条件而进行多张拍摄 (S4)，并进入 S8 的处理。 此外，所拍 摄的张数为在控制部 110 中设定的拍摄张数。 另外，关于改变曝光条件进行拍摄的次数 ( 进行改变的曝光条件 )，也可以在上述控制部 110 中设定。 或者，也可以由用户任意决 定。
然后，控制部 110 对通过拍摄得到的多个拍摄图像数据附加文件名 (S8)。 此 外，控制部 110 赋予的文件名，如上所述，只要是多个拍摄图像数据相互关联起来的名 称即可。
之后，控制部 110 将多个拍摄图像数据与标签信息、存储在存储部 160 中的便携 终端装置 100 的机种信息、用户信息以及输出处理信息一起转送到通信部 150。 然后，通 信部 150 将这些信息向图像输出装置 500 发送 (S9)。
此外，控制部 110 也可以将附加有文件名的图像数据暂时保存在存储部 160 或者 存储卡中，并根据用户的要求与标签信息、上述便携终端装置 100 的机种信息、用户信 息以及输出处理信息一起转送到通信部 150，然后再向图像输出装置 500 发送。
接着，图像输出装置 500 的第一通信部 590 接收来自便携终端装置 100 的多个拍 摄图像数据、机种信息、用户信息以及输出处理信息 (S21)。 接收之后，图像处理部 530 的画质调节部 531，例如如上述 (6-1) 所说明的那样，进行色彩平衡、对比度、亮度的补 偿 (S22)。 然后，图像处理部 530 的几何补偿部 532，例如如上述 (6-2) 所说明的那样， 进行几何变形的补偿、透镜变形的补偿 (S23)。
在 S24 中，图像补偿部 535 从通过 S22 以及 S23 执行了各种补偿的多个拍摄图像 数据中选择没有发白、发黑或者发白、发黑较少的拍摄图像数据 ( 发白、发黑较少的曝 光条件的拍摄图像数据 )。 具体而言，图像补偿部 535 与拍摄图像判断部 130 相同地进行 在 (3-4) 中记载的发白、发黑判断，选择被判断为没有发白、发黑的拍摄图像作为最佳 的拍摄图像数据。
然后，在 S25 中，超分辨率处理部 534 对在 S24 中选择的拍摄图像数据进行超分 辨率补偿。 此外，超分辨率补偿的具体方法是如 (6-3)、 (6-4) 所说明。
之后，控制部 510 将由图像补偿部 535 选择的拍摄图像数据储存到存储部 570 中 (S26)。
接着，控制部 510 判断拍摄图像数据的输出指示是否被输入到输入部 580 中 (S27)。 在没有输出指示的输入的情况 ( 在 S27 中为 “否”) 下，待机到输出指示被输入 为止。
另一方面，在有输出指示的情况 ( 在 S27 中为 “是”) 下，认证部 540 在显示部 560 显示催促输入用户信息 ( 例如用户 ID 以及密码 ) 的画面，并从输入部 580 获得用户 信息。 然后，认证部 540 进行用户认证 (S28)。 此外，认证部 540 也可以使用在图像输 出装置 500 上设置的非接触 IC 卡的读写器，从用户所持有的非接触 IC 获得用户信息。
在进行用户认证时，认证部 540 对照所输入的用户信息和从便携终端装置 100 接 收到的用户信息，判断是否存在一致的用户信息 (S29)。 然后，在从便携终端装置 100 接收到与所输入的用户信息一致的用户信息的情况 ( 在 S29 中为 “是”) 下，控制部 510 按 照从便携终端装置 100 接收到的输出处理信息来执行输出处理 (S32)。 例如，在输出处理 信息表示印刷处理的情况下，控制部 510 对图像形成部 550 输出处理执行指示。 之后， 结束处理。
另一方面，在所输入的用户信息与从便携终端装置 100 接收到的用户信息不一 致的情况 ( 在 S29 中为 “否”) 下，认证部 540 判断认证次数是否为规定次数以上 (S30)。 然后，在认证次数不是规定次数以上的情况 ( 在 S30 中为 “否” ) 下，重复进行 S28、 S29 的处理。 在认证次数为规定次数以上的情况 ( 在 S30 中为 “是” ) 下，不进行输出 而结束流程。
( 拍摄图像处理系统的优点 )
如上所述，根据本实施方式，拍摄图像处理系统的便携终端装置 100 以不同的 多种曝光条件，按每种曝光条件拍摄一张以上。 拍摄图像处理系统的图像输出装置 500 从按每种曝光条件所获得的拍摄图像中选择发白、发黑较少的最佳的拍摄图像。 再有， 图像输出装置 500 能够对所选择的最佳的拍摄图像实施超分辨率处理并进行输出。 因 此，拍摄图像处理系统能够输出没有发黑、发白的图像，因此能够提高输出图像中的文 字的识读性。
8) 变形例
本发明的拍摄图像处理系统不限定于上述实施方式，可以进行各种变更。 下 面，对变形方式的一例进行说明。
(8-1) 关于便携终端装置 100 的处理流程
在上述实施方式中，说明了在通过便携终端装置 100 的拍摄图像判定部 130 拍摄 图像未被判断为适当图像的情况下，以不同的多种曝光条件自动拍摄的情况，但便携终 端装置 100 也可以在通过拍摄图像判定部 130 拍摄图像未被判断为适当图像的情况下，催 促用户重新拍摄。
参照图 11 说明该情况下的便携终端装置 100 的处理流程。
便携终端装置 100 与上述实施方式情况相同地接收拍摄模式的选择受理、分辨 率变换的倍率输入、输出处理的种类以及用于输出处理的设定条件的输入。
然后，拍摄部 120 与上述的实施方式的情况相同地，开始表示拍摄对象物的浏 览图像的取入 (S11)，如果检测到快门按钮被按下，则拍摄图像判断部 130 判断拍摄图像 ( 或者浏览图像 ) 是否为不存在发白、发黑的适当图像 (S12)。
在拍摄图像判断部 130 判断为不是适当图像的情况 ( 在 S12 中为 “否”) 下，拍 摄部 120 改变曝光条件 (S13)，控制部 110 在显示部 170 显示催促再拍摄的消息等，并通 知用户 (S14)。
下面，对通知用户的显示在显示部 170 上的内容进行详细说明。
在从拍摄图像判断部 130 接收到倾斜角度 θ 不在规定范围内的意思的判断结果 的情况下，控制部 110 在显示部 170 显示催促以拍摄对象物不倾斜的状态再次拍摄的消 息。
另外，在接收到表示几何变形程度的特征量 ( 再次，拍摄图像中的拍摄对象物 的对边的长度比 ) 不在规定范围内的意思的判断结果的情况下，控制部 110 在显示部 170显示催促从拍摄对象物中的记载有文字的矩形平面的法线方向重新拍摄的消息。
再有，在接收到不包含只偏移规定量的规定数量的拍摄图像的意思的判断结果 的情况下，控制部 110 在显示部 170 显示例如 “该图像有可能无法处理。 请重新拍摄一 次。” 等催促重新拍摄的消息，由此重新获得图像。 之后，对重新拍摄的多个拍摄图 像，拍摄图像判断部 130 重新进行判断处理，在被判断为满足所有的处理执行条件时， 将该拍摄图像用于后续的处理中。 或者，也可以对先拍摄的拍摄图像以及重新拍摄的拍 摄图像的组合，拍摄图像判断部 130 重新进行判断处理，将满足所有的处理执行条件的 拍摄图像用于后续的处理中。
另外，在接收到存在曝光过度地方、曝光不足地方的判断结果的情况下，也可 以在显示部 170 显示该意思。
另外，在拍摄图像判断部 130 判断为发生了发白的情况下，通过来自控制部 110 的发生发白的通知，拍摄部 120 自动将设定变更为不同的多种曝光条件 ( 光圈、增益等 ) 来拍摄多张拍摄对象物。
在 S14 中进行通知用户的处理之后，返回到 S11 的处理。
另一方面，在拍摄图像判断部 130 判断为是适当图像的情况下 ( 在 S12 中为 “是” )，进入到 S15 的处理。 然后，控制部 110 对检测快门按钮的按下而拍摄的多张拍摄图像数据附加文件 名 (S15)。 作为文件名的附加方法，例如可以如 “ABC_1.jpg”、 “ABC_2.jpg” 这样， 只有编号部分不同，其他部分相同地进行附加。
最后，控制部 110 生成标签信息，将一个以上的图像数据与标签信息，储存在 存储部 160 中的便携终端装置 100 的机种信息、用户信息以及输出信息一起向通信部 150 转送。 然后，通信部 150 将这些信息向图像输出装置 500 发送 (S16)。
(8-2) 关于图像输出装置的图像处理部 530 记录在存储部 570 的最佳图像
在上述实施方式中，说明了图像处理部 530 的图像补偿部 535 从由便携终端装置 100 接收到的多个拍摄图像中选择发白、发黑区域较少的最佳图像，图像处理部 530 的超 分辨率处理部 534 对所选择的图像进行超分辨率补偿并记录到存储部 570 中的情况。 在 本实施方式中，将存在发白、发黑的拍摄图像中的发白、发黑的区域的各要素置换成与 其像素对应的其他拍摄图像的像素，由此生成发白、发黑的区域较少的图像。 在该情况 下，例如，预先确定以改变曝光之前的最初的曝光条件拍摄而得到的拍摄图像等、成为 基准的拍摄图像。 然后，将在成为基准点的拍摄图像中产生发白、发黑的区域的邻接区 域的亮度和以与最初的曝光条件不同的曝光条件拍摄而得到的拍摄图像中的与邻接区域 对应的区域 ( 进行置换的区域的周围区域 ) 的亮度的差在一定范围内的图像，作为置换用 的拍摄图像来选择。
此外，在成为基准的拍摄图像中存在多个进行置换的区域的情况下，图像补偿 部 535，对于从便携终端装置 100 接收到的多个拍摄图像的所有，以块为单位求出 RGB 信 号的平均值或者亮度值的平均值。 然后，图像补偿部 535 按照进行置换的每个区域，选 择成为基准的拍摄图像的该区域块中的平均值和对应的块中的平均值最接近的其他拍摄 图像，作为置换用拍摄图像。
然后，图像处理部 530 的画质调节部 531 对于将成为基准的拍摄图像数据表示的
产生图像的发白、发黑的区域进行置换而得到的图像，进行色彩平衡、对比度、亮度补 偿、色调补偿、抖动补偿。 最后，图像补偿部 535 将进行了这些补偿之后的图像作为最 佳图像而存储到存储部 570 中。
此外，将色彩平衡等补偿之前的图像和补偿之后的图像显示在显示部 560 中， 让用户进行选择，将用户所选择的图像作为最佳图像存储到存储部 570 中。
(8-3) 关于最佳图像的其他生成方法
在 (8-2) 中说明了 ：在拍摄图像处理系统中，为了输出不存在发白、发黑的最 佳图像，便携终端装置 100 改变曝光条件而进行多次拍摄，图像输出装置 500 在从便携 终端装置 100 接收到的多个拍摄图像中选择成为基准的拍摄图像，将所选择的拍摄图像 中的发白、发黑的区域置换为其他拍摄图像中的对应的区域的图像而生成最佳图像。 但 是，最佳图像的生成方法并不限定于此。
即，也可以通过便携终端装置 100 以如不产生发白那样的曝光条件且不改变曝 光条件而拍摄多张，且图像输出装置 500 的图像处理部 530 生成重叠从便携终端装置 100 接收到的多个拍摄图像的图像，而生成不存在发白、发黑的最佳图像。 再次，所谓重叠 多张拍摄图像的图像是指，假设拍摄图像为 N 张，则图像中的各坐标 (X， Y) 的像素的 亮度值成为对 N 张的各拍摄图像加上坐标 (X， Y) 的像素的亮度值而得到的值的图像。
在重叠多张拍摄图像而生成最佳图像的情况下，根据拍摄图像的亮度 ( 亮度值 ) 来改变重叠的拍摄图像的张数。 即，例如，取拍摄图像的各像素的亮度的平均值，在亮 度的平均值较小的情况下，增加重叠的图像的张数，在亮度的平均值较大的情况下，减 小重叠的图像的张数。
此外，在重叠拍摄图像的情况下，如果单纯地加上亮度值，则存在最大值超过 255 的情况，因此，需要使亮度值不超过 255。 即，在重叠的拍摄图像中含有亮度值较大 的像素的情况下，将不到 1 的小的加权系数乘到亮度值的加算值上而得到的值设为生成 的图像中的对应的像素的亮度值。 同样，在重叠的拍摄图像中含有亮度值较小的像素的 情况下，将 1 以上的较大的加权系数乘到亮度值的加算值上而得到的值设为生成的图像 中的对应的像素的亮度值。 由此，以相同条件拍摄的图像的各像素的亮度值进行加权加 算而生成图像，从而能够抑制所生成的图像中产生随机噪声。 此外，重叠的张数、加权 系数是预先利用各种图像样本并根据亮度来确定的。
另外，也可以使每个块 (64×64、128×128 等 ) 重叠的拍摄图像的张数不同。 即，取每个块的亮度的平均值，在该块的亮度的平均值较小的情况下，增加该块的重叠 的图像张数，在亮度的平均值较大的情况下，减少该块的重叠的图像张数。 或者，进行 区域分离处理并将拍摄图像分离成文本区域和背景 ( 基底 ) 区域，只有在基底区域进行拍 摄图像的重叠也可以。 此外，作为区域分离处理方法，例如可以使用在日本国特许公开 公报 “特开 2002-232708 号公报” 中记载的以下方法。
即，在拍摄图像中，首先，计算出包含关注像素的 n×m( 例如，7×15) 块中 的最小浓度值以及最大浓度值。 接着，使用所计算出的最小浓度值以及最大浓度值来计 算出最大浓度差。 然后，计算出邻接的像素的浓度差的绝对值的总和即总和浓度繁杂度 ( 例如，对主扫描方向和副扫描方向计算出的值的和 )。
之后，进行所计算出的最大浓度差和最大浓度差阈值之间的比较以及所计算出的总和浓度繁杂度和总和浓度繁杂度阈值之间的比较，在最大浓度差＜最大浓度差阈值 以及总和浓度繁杂度＜总和浓度繁杂度阈值的情况下，判断为关注像素属于基底、印画 纸照片区域 ( 照片区域、连续等级区域 )，在最大浓度差 ≥ 最大浓度差阈值以及总和浓度 繁杂度 ≥ 总和浓度繁杂度阈值的情况下，判断为关注像素属于文字、网点区域。
再有，对于被判断为属于基底、印画纸照片区域的像素，在关注像素满足最大 浓度差＜基底、印画纸照片判断阈值的情况下，判断为是基底像素，在最大浓度差 ≥ 基 底、印画纸照片判断阈值的情况下，判断为是印画纸照片像素。 另一方面，对于被判 断为属于文字、网点区域的像素，在关注像素满足总和浓度繁杂度＜最大浓度差乘以文 字、网点判断阈值的值的条件的情况下，判断为是文字像素，在不满足上述条件的情况 下，判断为是网点像素。
以上，对于在日本国特许公开公报 “特开 2002-232708 号公报” 中记载的区域 分离处理方法进行了说明，但可适用于本发明的区域分离处理方法并不限定于此。
另外，不是直接使用重叠的张数、加权系数，而是预先使用图像样本来求出亮 度分布之后，调节重叠的张数、加权系数，以此能够生成更加良好的图像。 即，对于重 叠的拍摄图像，以块为单位求出亮度分布并储存每个块的亮度的大小关系。 然后，调节 重叠的张数、加权系数，使得所生成的图像中的每个块的亮度大小关系与重叠的拍摄图 像中的每个块的亮度大小关系一致。 另外，即使在相互邻接的多个块以遍及对象物的图 像的方式包含在拍摄图像中的情况下，优选进行块的边界部分的亮度值的调节，以便在 所生成的图像中块的边界部分变得自然。
此外，在加算亮度值时，如果不仅只考虑使用式 (4) 计算出的亮度值的整数部 分，而且还考虑小数部分，则能够生成更自然的平滑的图像。
( 程序，记录介质 )
本发明也可以在记录了用于使计算机执行的程序的计算机可读取的记录介质 中，记录将由上述便携终端装置 100 拍摄到的图像发送到图像形成装置并由图示形成装 置输出的方法。
其结果，可以提供一种自由携带的记录有进行上述处理的程序代码 ( 执行形式 程序、中间代码程序、源程序 ) 的记录介质。 并且，在本实施方式中，作为该记录介 质，既可以是用于微型计算机进行处理的未图示的存储器、例如如 ROM 那样的、其本身 为程序介质，或者，也可以是虽然未图示但作为外部存储装置设置有程序读取装置，通 过将记录介质插入其中可进行读取的程序介质。
不论在哪种情况下，既可以是被储存的程序由微处理器访问并执行的构成，或 者，也可以是任意一种情况下均读出程序代码，所读出的程序代码被下载至微型计算机 的未图示的程序存储区域，并执行该程序的方式。 该下载用的程序被预先储存于本体装 置中。 在这里，上述程序介质是可与本体分离地构成的记录介质，也可以是磁带及盒带 等的磁带类，软盘及硬盘等的磁盘以及 CD-ROM/MO/MD/DVD 等的光盘的盘类，IC 卡 ( 含存储卡 )/ 光卡等的卡类，或者掩膜 ROM、EPROM(Erasable Programmable Read Only Memory)、 EEPROM(Electrically Erasable Programmable Read Only Memory)、闪速存储器 等含有半导体存储器的固定载有程序代码的介质。
并且，在本实施方式中，由于是可连接含互联网的通信网络的系统构成，因此也可以是以从通信网络下载程序代码的方式流动地载有程序代码的介质。 并且，在如此 地从通信网络下载程序的情况下，该下载用的程序可以预先储存于本体装置中，或被从 其他记录介质安装。 并且，本发明也可以在上述程序代码通过电子传输被具体化的、埋 入于载波中的计算机数据信号的形式来实现。
上述记录介质可以通过由便携终端装置及图像输出装置所具有的程序读取装置 进行读取，来执行上述的图像处理方法。
本发明的便携终端装置，上述拍摄部可以在拍摄之前预先取入表示上述拍摄对 象物的图像，上述拍摄图像判断部判断表示上述拍摄部拍摄之前预先取入的图像的图像 数据是否满足上述规定条件，来代替通过由上述拍摄部进行拍摄而得到的拍摄图像数 据。
优选为，上述便携终端装置还具备控制显示部的显示的显示控制部、和经由输 入部接收来自用户的指示的指示受理控制部，在上述拍摄图像判断部判断为满足上述规 定条件的情况下，上述显示控制部将其意思显示于显示部，并且上述指示受理控制部受 理再拍摄的指示，上述拍摄图像判断部对于上述拍摄部根据上述再拍摄指示以与被判断 为满足上述规定条件的拍摄时不同的曝光条件进行拍摄而得到的拍摄图像数据也判断是 否满足上述规定条件，上述发送部只将上述拍摄图像判断部判断为不满足上述规定条件 的拍摄图像数据向上述图像输出装置发送。
根据上述结构，起到如下效果，即 ：便携终端装置不在图像输出装置中进行选 择没有发白、发黑的拍摄图像数据的处理，能够输出拍摄图像数据。
优选为，上述便携终端装置还具备记录控制部，该记录控制部将上述拍摄部以 上述不同的多种曝光条件来连续拍摄拍摄对象物而得到的、上述多个拍摄图像数据相互 关联起来记录到存储部中，上述发送部将记录在上述存储部中的相互关联的多个拍摄图 像数据向上述图像输出装置发送。
根据上述结构，上述图像输出装置以相互关联的状态接收通过连续拍摄上述拍 摄对象物而得到的多个拍摄图像数据。 因此，上述便携终端装置起到如下效果，即 ：例 如在上述图像输出装置进行从上述多个拍摄图像数据中选择应该输出的拍摄图像数据的 处理的情况等下，能够容易确定成为选择应该向上述图像输出装置输出的拍摄图像数据 的候补的多个拍摄图像数据。
为了解决上述问题，本发明的图像输出装置的特征在于，具备 ：通信部，其从 上述便携终端装置接收拍摄图像数据 ；图像处理部，其在上述通信部接收到的上述拍摄 图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下，从该多个拍 摄图像数据中选择不满足上述规定条件的任一拍摄图像数据 ；输出部，其执行输出上述 图像处理部选择了的上述拍摄图像数据的输出处理。
根据上述结构，图像输出装置执行输出不满足规定条件的任一拍摄图像数据的 输出处理。 因此，图像输出装置起到使用户容易得到没有发白、发黑的拍摄图像数据的 效果。
另外，为了解决上述问题，本发明的图像输出方法是具备通信部、图像处理 部、输出部的图像处理装置的图像输出方法，其中，该通信部从上述便携终端装置接收 拍摄图像数据，该图像处理部对拍摄图像数据实施图像处理，该输出部输出拍摄图像数据，该图像输出方法的特征在于，包括 ：选择工序，在该工序中，在上述通信部接收到 的上述拍摄图像数据中包含分别以不同的曝光条件拍摄的多个拍摄图像数据的情况下， 上述图像处理部从该多个拍摄图像数据中选择不满足上述规定条件的任一拍摄图像数 据 ；输出工序，在该输出工序中执行输出上述图像处理部选择了的上述拍摄图像数据的 输出处理。
根据上述结构，起到与图像输出装置相同的作用效果。
优选为，上述图像输出装置还具备补偿处理部，该补偿处理部进行高分辨率补 偿，该高分辨率补偿为生成分辨率高于上述图像处理部选择了的上述拍摄图像数据的分 辨率的高分辨率图像数据，
上述输出部输出的拍摄图像数据是由上述补偿处理部生成的上述高分辨率图像 数据。
根据上述结构，图像输出装置还起到如下效果，即 ：能够输出分辨率高于便携 终端装置进行拍摄而得到的拍摄图像数据的分辨率且没有发白、发黑的拍摄图像数据。
另外，本发明的拍摄图像处理系统的特征在于，具备上述便携终端装置和从该 便携终端装置接收多个图像数据的上述图像输出装置。
根据上述结构，用户能够容易从图像输出装置得到在便携终端装置中通过多种 不同的曝光条件进行拍摄而得到的多个拍摄图像数据中的、没有发白、发黑的拍摄图像 数据。
此外，上述便携终端装置以及图像输出装置也可以通过计算机来实现，在该情 况下，通过使计算机作为上述各部进行动作而在计算机上实现便携终端装置以及图像输 出装置的各程序以及记录该程序的计算机可读取的记录介质也都属于本发明的范围。
在发明的具体实施方式中实施的具体的实施方式或者实施例只不过是用于使本 发明的技术内容变得清楚，不应该狭义地解释为只限定于这种具体例，可以在本发明的 精神和下面记载的权利要求书的范围内进行各种变更来实施。
产业上的可利用性
本发明能够适用于在便携终端装置和图像输出装置之间进行数据通信的拍摄图 像处理系统。