图像处理方法及装置 【技术领域】
本发明涉及将从数字静态照相机或者数字视频摄像机等的CCD、CMOS等光学传感器输入、并记录在介质上的图像信息，从介质中读出并再现(显影)，或进行图像处理的图像处理技术。
背景技术
作为用数字静态照相机或数字视频摄像机等拍摄得到的图像信息，已知有使用几乎不对从摄像传感器输出的图像信号进行例如白平衡处理等的关于图像的颜色的图像处理(称为图像加工处理)、就进行记录的数字图像信息的技术(以下将这种几乎不进行图像加工处理地数字图像信息称为RAW图像)。例如，如果使用对从摄像元件输出的信号进行A/D变换，且未进行压缩处理的RAW图像，则再现(显影)处理总能对RAW图像进行。为此，通过例如外部或者摄像装置内等的图像处理装置，可以根据用户任意地设定的参数施加高度的图像加工，作为具有亮度信号和颜色信号的图像数据，可以更高像质地进行再现。此外，根据用户喜好，可以多次生成不受像质劣化或图像加工处理影响的再现(显影)图像数据。
在图像处理装置中，对RAW图像进行图像处理和/或再现时，基于与RAW图像相关联地记录的属性信息和图像信息主体的特性，进行像素的插值处理、白平衡处理、亮度调整处理、色彩调整处理、锐化处理等图像处理，进行再现。例如，按照压缩方式进行解压缩处理，根据图像信息主体的属性，即光电变换滤色器特性(以下记为滤色器特性)和摄像时的光源信息，进行像素的色插值处理和白平衡处理，根据曝光时间、快门速度、变倍位置等进行亮度调整处理、色彩调整处理、锐化处理等的图像处理，进行再现。
此外，在对再现后的图像进一步进行色彩调整等的图像处理时，也基于属性信息和用户设定的信息进行图像处理和/或再现。这里，上述所谓滤色器特性是指至少包含像素排列、滤色器排列、每个像素的灵敏度特性(分光灵敏度等)之一的特性。
但是，RAW图像对于数字静态照相机或者数字视频摄像机的各制造制造商以及各机型，没有进行图像处理和/或再现所需要的属性信息的统一，加之存在CCD的滤色器特性(滤色器排列/补色滤光片·原色滤光片/在深度方向具有色分离特性的多色感光层的传感器或单色感光层特性的传感器/位深(bit depth)/像素的长宽比)的差异或压缩方式的差异，故必须根据摄像机的机型专用的各个RAW图像的特性改变图像处理方法，进而改变图像处理装置。这里，位深指的是可以充分表示来自CCD滤光器的图像信号所表现的灰阶和色彩数目的比特数。像素的长宽比是长方形像素的纵横比。
因而，在用公共的图像处理装置操作这样的RAW图像文件时，使用将之变换成作为通用图像数据格式的、例如位图格式或者JPEG格式并保存后的图像数据。
但是，在使用变换成通用图像数据格式后的图像数据时，产生以下这样的课题。
(1)在光学传感器的动态范围宽、位深较深时，如果不变换成通用图像数据格式就不能利用公共的图像处理装置进行图像处理/再现，故存在在向通用图像数据格式的变换时位深受限，而使像质劣化的可能性。
(2)如果在向通用图像数据格式变换时进行了不可逆压缩，则图像数据将进一步劣化。
(3)在变换成通用图像数据格式时，存在要用于图像处理的摄像装置的状态信息(例如ISO灵敏度或曝光时间等)被丢失、删除的可能性。
(4)即便是解决了上述(3)的问题，即，即使是在变换成通用图像数据格式时与图像数据主体相关联地记录了图像处理所使用的摄像装置的状态信息(例如ISO灵敏度或曝光时间等)，在图像处理装置一侧不用于图像处理，或者不分析这样的信息的情况也多有发生。
另一方面，在使用多种图像处理装置以利用RAW图像时，存在下面这样的课题。
(1)由于RAW图像格式因每个摄像装置的制造商或机型而不同，故对用户来说，对每个RAW图像切换图像处理装置是非常费事的。
(2)在开发出更为优异的图像处理的算法时，如果图像处理装置按机型而不同，则开发人员的变更处变多，增加开发成本。
(3)在开发出更为优异的图像处理的算法时，用户不能用采用了优异的算法处理的制造商的图像处理装置，对用没有采用优异的算法处理的制造商的摄像装置所拍摄的RAW图像进行像质调整或再现。
【发明内容】
本发明是鉴于上述课题而发明的，目的在于通过提供在维持RAW图像的优点的同时统一属性信息和图像信息主体的数据形式的图像数据，可以统一在将例如RAW图像文件变换成通用格式的文件之际的图像加工处理。
为达到上述之目的，在本发明的第1方案中，采用如下结构：一种图像处理方法，由第1格式的图像数据生成具有亮度信号和颜色信号的第2格式的图像数据，所述第1格式的图像数据包括对从摄像元件输出的信号进行数字变换后得到的、非压缩或者实质上为可逆压缩状态的图像数据，该方法的特征在于，包括：选择步骤，基于与上述第1格式的图像数据相关联的图像属性信息，从多种处理模块中选择要使用的处理模块；变换步骤，利用由上述选择步骤所选择的处理模块，将上述第1格式的图像数据变换成不同于上述第2格式的第3格式的图像数据；生成步骤，基于上述第3格式的图像数据，生成上述第2格式的图像数据。
此外，在上述方案中，最好是上述变换步骤包括基于上述图像属性信息将与上述第1格式的图像数据相关联的属性信息的参数的单位变换成预定的单位的处理。
在其他方案中，采用如下结构：一种存储介质，保存了用于使计算机执行由第1格式的图像数据生成具有亮度信号和颜色信号的第2格式的图像数据的图像处理的控制程序，所述第1格式的图像数据包括对从摄像元件输出的信号进行数字变换后得到的、非压缩或者实质上为可逆压缩状态的图像数据，该存储介质的特征在于：上述控制程序使计算机执行如下图像处理：基于与上述第1格式的图像数据相关联的图像属性信息，从多种处理模块中选择要使用的处理模块，利用上述所选择的处理模块，将上述第1格式的图像数据变换成不同于上述第2格式的第3格式的图像数据，基于上述第3格式的图像数据生成上述第2格式的图像数据。
另外，在其他方案中，采用如下结构：一种控制程序，使计算机执行由第1格式的图像数据生成具有亮度信号和颜色信号的第2格式的图像数据的图像处理，所述第1格式的图像数据包括对从摄像元件输出的信号进行数字变换后得到的、非压缩或者实质上为可逆压缩状态的图像数据，该程序的特征在于：使计算机执行如下图像处理：基于与上述第1格式的图像数据相关联的图像属性信息，从多种处理模块中选择要使用的处理模块，利用上述所选择的处理模块，将上述第1格式的图像数据变换成不同于上述第2格式的第3格式的图像数据，基于上述第3格式的图像数据生成上述第2格式的图像数据。
本发明的其他目的和特征可以通过下面的说明书和附图而得以明确。
【附图说明】
附图并入本说明书且构成本说明书的一部分，说明本发明的实施方式，与其描述一起用于说明本发明的原理。
图1是表示作为图像输入装置的数字静态照相机的结构的方框图。
图2是表示直到图像输入装置的图像记录的流程的流程图。
图3是图像文件概念结构图。
图4A、4B是图像信号的像素排列图。
图5是表示通过具有多色感光层的特性的光电变换器输入颜色信号的情况的概念图。
图6A、6B是表示由具有像素的纵横比不是1∶1的特性的光电变换器输入的图像信号的概念图。
图7A是表示显示输出RAW图像的处理的流程图。
图7B是表示显示输出RAW图像的处理的流程图。
图8是表示本实施方式的执行图像处理的信息处理装置的结构的方框图。
图9是表示本实施方式的图像处理的功能结构的方框图。
【具体实施方式】
下面，参照附图说明本发明的优选实施方式。在下面的实施方式中，以数字静态照相机等电子照相机为例进行说明。
图1是表示本实施方式的作为图像输入装置的数字静态照相机的结构的方框图。图1中，101是摄影镜头，102是快门光圈。由上面的摄影镜头101和快门光圈102等形成摄影光学系统。103是光电变换器(以下记为CCD)，将通过摄影光学系统(101、102)成像后的被摄物体的光学信号变换成电信号。
104是模数变换器，将CCD103的输出(模拟信号)变换成数字信号。105是数字处理器，处理用模数变换器104数字化了的信号。106是CPU，执行该数字静态照相机中的各种照相机控制和信号处理。107是内部存储器。内部存储器107包括读出专用存储器和可读写存储器，在读出专用存储器中保存控制程序，可读写存储器被作为CPU106处理时的暂时存储器而使用。108是压缩电路，进行要记录的数字信号的压缩处理。109是用于与可装卸的存储介质连接的接口，110是用于与个人计算机等连接的接口。通过以上的从模数变换器104到接口110等，形成本实施方式的数字静态照相机中的信号处理电路。111是可装卸于该数字静态照相机的存储介质。
图2是表示本实施方式的数字静态照相机的图像数据处理的流程图。这里，本处理通过CPU106执行保存在内部存储器107中的控制程序来进行。
在步骤S201中，向存储器输入图像数据。在本实施方式中，在CCD103中将光学图像变换成电信号后，在模数变换器104中进行数字变换，用变换后的数字信号表示该图像数据。在步骤S202中，判断是否对图像数据实施图像处理并以通用的图像数据格式(JPEG等)进行记录。在本实施方式中，判断摄影时摄像人员是否选择了不对来自CCD103的输出数据施加处理就进行记录的模式(RAW图像输出模式)。如果选择了RAW图像输出模式，则进入步骤S204，否则进入步骤S203。
在步骤S203中进行图像处理。在本实施方式中，表示基于滤光器处理、白平衡、自动对焦等信息的色彩调整等的处理。然后，在步骤S204中判断是否进行压缩记录。在本实施方式中，判断摄影时摄像人员是否选择了压缩记录模式。在选择了压缩记录模式时，进入步骤S205，进行由压缩电路108进行的图像的压缩处理。压缩方法是可逆压缩或者不可逆压缩。在步骤S206中，将属性信息附加给图像数据。在本实施方式中，所谓属性信息是指摄影日期、摄影机型、闪光ON/OFF、记录形式等摄影条件的信息。在步骤S207中，记录到装卸式的存储介质111中。在本实施方式中，所谓存储介质111是指例如压缩闪存(CompactFlash，注册商标)等装卸式的存储介质。
在本实施方式中，在步骤S202不进行图像处理，而是以在步骤S206进行非压缩记录后的图像信息，或者在步骤S205以可逆压缩记录的图像信息、即RAW图像作为处理的对象。
图3是利用本实施方式的图像记录方式生成的图像文件的概略结构图。在图3中，301是属性信息区域，是保存图像数据大小、摄影日期、摄影机型、压缩方法、闪光ON/OFF等摄影时的信息以及图像的读出、再现、选择所需要的信息的区域。此外，作为对光学图像进行光电变换时的摄影信息，也可以包含例如曝光时间、开口光圈、照明被摄物体的光源的色温、光电变换元件、ISO灵敏度、镜头焦点距离等照射光学图像的光学系统的信息等。302是缩小图像数据区域，是保存进行一览显示时所显示的缩小图像数据的区域。303是主体图像数据区域，是存储作为该图像文件所应保存的所有图像数据的区域。在指定了RAW图像输出模式时，在本主体图像数据区域303中保存RAW图像数据或者其可逆压缩数据。
以上这样的RAW图像将具有因其提供源的硬件结构等而不同的数据结构。本实施方式的图像处理装置在将包含这样的RAW图像数据的图像数据文件向通用形式的图像数据文件变换时，变换成中间形式的图像数据。该中间形式的图像数据不损害RAW图像的优点，具有不依赖于机型的、统一的数据形式。以下说明RAW图像的变化和向统一形式变换的例子。
[1.图像信息主体]
1-1.关于摄像装置的特性差异的吸收
图4A、4B是表示图像信号的像素排列的例子。利用模数变换器105进行数字化并保存的数据在用原色滤光片且为单色感光层时，被分割成图4A那样的块。但是各个块如图4B那样，由包含颜色信号红·绿·蓝(RGB)的4个像素构成。用补色滤光片时，由颜色信号深蓝、品红、黄(CMY)构成。此时，像素排列的排列顺序因CCD的滤色器的特性而不同。此外，像素的形状因CCD的滤色器特性而存在如图6A、6B所示那样的纵横比不是1∶1(2∶1等)的情况。另外，构成图像的各个像素的位深也存在因CCD的滤色器特性而不同的情况。
如以上那样，存在被保存在主体图像数据区域303中的RAW图像的图像数据的记录状态因机型而不同的情况。以下表示其例子和变换例。
1-2.位深的统一
构成图像的像素的位深与用于进行公共的图像处理的某位深不同时，需要使其与后者的位深一致。例如，在要将8bit(构成图像的像素的位深)变换成12bit(用于进行公共的图像处理的位深)时，对全部像素进行4bit左移。
ColR_12bit＝(ColR_8bit)＜＜(12-8)
ColB_12bit＝(ColB_8bit)＜＜(12-8)
ColG_12bit＝(ColG_8bit)＜＜(12-8) …式1
一般地，在将特定的位深x(bit)变换成用于进行公共的图像处理的位深a(bit)时，如果a＞x，则可以通过仅左移a-x(bit)进行计算。
1-3.根据滤色器特性的数据变换
在本实施方式中，以由各像素的RGB值构成的RAW图像作为统一形式。因而，CCD的滤色器是原色滤光片，是单色感光层(例如图4)时，通过对所得到的RAW图像数据实施后述的插值处理，得到用于进行公共的图像处理的中间形式的图像数据。
另一方面，在CCD的滤色器是补色滤光片时，对输入的图像信息进行插值处理，求出各像素的CMY值。将构成图像的像素的颜色信号深蓝·品红·黄(CMY值)变换成用于进行公共的图像处理的颜色信号红·绿·蓝(RGB)，即中间形式的图像数据。此时，用下面的计算式进行变换。
R＝(Y+M-C)/2
G＝(C+M-Y)/2
B＝(C+Y-M)/2 …式2
此外，如图5所示的那样，是从多色感光层的CCD得到的RAW图像时，实施下面这样的变换处理。图5是表示在单色感光层中输入颜色信号的情况的概念图。在图5的多色感光层中，1个像素中不是一个颜色信号，在第1层中具有将颜色信号红、绿和蓝相加后的值(R+G+B)，在第2层中具有将颜色信号红和绿相加后的值(R+G)，在第3层中具有颜色信号红的值(R)。如果设第1层的颜色信号为Col1，第2层的颜色信号为Col2，第3层的颜色信号为Col3，则在将颜色信号Col1、Col2、Col3变换成用于进行公共的图像处理的颜色信号红·绿·蓝(RGB)、即中间形式的图像数据时，用下面的计算式进行变换。
R＝col3
G＝col2-col3
B＝col1-col2 …式3
在例如图4A、4B所示那样的、所谓Beyar排列那样的滤色器排列的摄像元件中，在由原色CCD得到的RAW图像中，所有像素中都不存在任何彩色信息。这样，为生成原本不存在的颜色信号红·绿·蓝(colR(x，y)，colG(x，y)，colB(x，y))而使用例如下面的计算式。
colR(x，y)＝(colR(x，y-1)+colR(x，y+1))/2
colG(x，y)＝(colG(x，y-1)+colG(x，y+1))/2
colB(x，y)＝(colB(x，y-1)+colB(x，y+1))/2 …式4
进而，对于因用于进行摄像元件的读出的电路等的情况而水平方向和垂直方向的像素的间隔(纵横比)不同的情况(不是正方形方格的情况(参照图6A、6B))，进行插值处理使CCD的像素的排列成为正方形方格。
例如，为了将水平方向的像素间隔(采样的中心点的间隔)和垂直方向的像素间隔之比为2∶1(水平方向的像素间隔为垂直方向的像素间隔的一半)的摄像元件的输出信号变换成正方形方格，例如，如果此处以亮度信号来考虑，则进行下面这样的运算(该运算只是一个例子)。下面，将RAW图像的横3列×纵3行的像素变换成横6列×纵12行，生成正方形方格的图像数据。
为了由横方向的3个像素的数据in(x-1，y)，in(x，y)，in(x+1，y)生成6个像素的数据out(x-2，y)，out(x-1，y)，out(x，y)，out(x+1，y)，out(x+2，y)，out(x+3，y)，使用例如下面这样的计算式。
Out(x-2，y)＝(4×in(x-1，y))/4
out(x-1，y)＝(3×in(x-1，y)+1×in(x，y))/4
out(x，y)＝(1×in(x-1，y)+3×in(x，y))/4
out(x+1，y)＝(1×in(x+1，y)+3×in(x，y))/4
out(x+2，y)＝(3×in(x+1，y)+1×in(x，y))/4
out(x+3，y)＝(4×in(x+1，y))/4 …式5
为了由纵方向的3个像素的数据in(x，y-1)，in(x，y)，in(x，y+1)生成12个像素的数据out(x，y-5)，out(x，y-4)，out(x，y-3)，out(x，y-2)，out(x，y-1)，out(x，y)，out(x，y+1)，out(x，y+2)，out(x，y+3)，out(x，y+4)，out(x，y+5)，out(x，y+6)，使用例如以下的计算式。
out(x，y-5)＝(16×in(x，y-1))/16
out(x，y-4)＝(16×in(x，y-1))/16
out(x，y-3)＝(15×in(x，y-1)+1×in(x，y))/16
out(x，y-2)＝(11×in(x，y-1)+5×in(x，y))/16
out(x，y-1)＝(5×in(x，y-1)+11×in(x，y))/16
out(x，y)＝(1×in(x，y-1)+15×in(x，y))/16
out(x，y+1)＝(1×in(x，y+1)+15×in(x，y))/16
out(x，y+2)＝(5×in(x，y+1)+11×in(x，y))/16
out(x，y+3)＝(11×in(x，y+1)+5×in(x，y))/16
out(x，y+4)＝(15×in(x，y+1)+1×in(x，y))/16
out(x，y+5)＝(16×in(x，y+1))/16
out(x，y+6)＝(16×in(x，y+1))/16 …式6
由此，如图6A、6B所示的特性的RAW图像的横3列×纵3行的像素被变换成横6列×纵12行，成为正方形方格的图像数据。即，校正了纵横比。
[属性信息的形式的统一]
下面，表示在可能在RAW图像的图像处理中使用的属性信息中，因标记方法(单位等)而可能存在差异的信息的例子及其变换例。在本例中，通过将各种属性值变换成APEX单位来统一属性信息的形式。
●快门速度Second→APEX
使用下面的计算式，由Second变换成用于进行公共的图像处理的快门速度单位APEX。
ShutterSpeedValue：Tv＝-log2(Second) …式7
●光圈值F-Number→APEX：
使用下面的计算式，由F-Number变换成用于进行公共的图像处理的光圈值单位APEX。
ApertureValue：Av＝2log2(F-Number) …式8
●亮度值B/NK→APEX：
使用下面的计算式，由B/NK变换成用于进行公共的图像处理的亮度值单位APEX。
BrightnessValue：Bv＝log2(B/NK) …式9
下面对实现上面这样的处理的本实施方式的图像处理装置进行说明。图8是本实施方式的信息处理装置，通过执行预定的控制程序而实现下面所说明的图像处理，作为图像处理装置来发挥功能。
在图8中，801是负责本装置整体的控制的CPU。802是保存有CPU801的动作处理顺序(例如计算机的起动处理和基本输入输出处理等程序)的ROM。803是RAM，作为CPU801的主存储器而发挥作用。从硬盘驱动器804等向RAM803载入包含用于实现后述的图像处理的控制程序的各种程序，由CPU801来执行。此外，RAM803提供CPU801执行各种处理时的工作区。
804表示硬盘驱动器(以下记为HDD)，805表示软盘驱动器(以下记为FDD)，各盘被用于应用程序、数据、库等的保存和读入。此外，也可以取代FDD或者追加设置CD-ROM、MO、DVD等光(磁)盘驱动器或tape streamer、DDS等磁带驱动器等。
806是键盘或者指示设备等的输入装置。807是显示器，在CPU801的控制下进行各种显示。
808是接口，可以从图1所示的数字静态照相机的接口110接收图像数据。作为接口808、110，一般是USB。809是存储介质安装单元(媒体驱动器)，安装从图1所示的数字静态照相机中取下的存储介质111，可读出其所保存的数据。810是连接上述各单元间的系统总线(由地址总线、数据总线以及控制总线组成)。
参照图7A、图7B以及图9，对利用具有上述结构的信息处理装置的本实施方式的图像处理进行详细说明。
图7A、图7B是表示本实施方式的、从记录装置读入RAW图像，到在输出装置上进行显示(或者向存储介质等的数据输出、向记录介质上的可视图像输出)的处理的流程图。此外，图9是表示本实施方式的用于向中间形式的图像数据进行变换处理的功能框图。
在步骤S701中，从记录介质读入RAW图像文件。作为记录介质，是例如个人计算机的硬盘804或存储介质111。此外，RAW图像文件的读入也可以经由无图示的网络来输入。
在步骤S702中，读入记录在RAW图像文件的属性信息区域301中的属性信息。所谓属性信息是指例如位深、CCD的滤色器特性、压缩形式、曝光时间、快门速度、光圈值、亮度值、曝光校正值、镜头最小F值、被摄物体距离、测光方式、光源、闪光ON/OFF、镜头焦距、F数、曝光程序、ISO速率、闪光强度等。
在步骤S703中，属性信息变换处理单元902利用上述的计算式将标记方法(单位等)不同的属性信息向通用型(在本实施方式中使用APEX单位)变换(以下将向通用型变换的属性信息称为通用属性信息)。例如，快门速度的变换例如式7所示，光圈值的变换例如式8所示，亮度值的变换例如式9所示。
在步骤S704中，判断主体图像数据区域303中的RAW图像数据是否被压缩。在是被压缩的图像时，在步骤S705中基于通用属性信息的压缩方式进行解压缩处理。即，通过选择器903向与压缩方式对应的解压缩处理单元904发送RAW图像，实施解压缩处理。另外，图9中虽然只表示了一个解压缩单元，但可以对应于多种压缩处理准备多种解压缩单元，由选择器903进行选择。另外，如果是非压缩状态，则RAW图像从选择器903原样提供给位深变换处理单元905。
在步骤S706中，位深变换处理单元905基于通用属性信息的位深信息，进行RAW图像数据的位调整处理。位调整处理用式1所示的方法进行即可。
在步骤S707中，根据通用属性信息的滤色器特性进行是否是在深度方向具有色分离特性的摄像元件的判断。在不具有深度方向的色分离特性时(是单色感光层时)，在步骤S708中进行色插值处理。由于RAW图像由图4所示的块构成，故各个像素只有一种颜色的颜色信号。因此，进行色插值处理。这里，作为插值处理可以使用例如线性插值，作为插值处理的例子可以举出上述式4。这是在图9中通过选择器906选择了插值处理单元907时的处理。
另一方面，在滤色器特性表示图5所示的深度方向的色分离特性时，在步骤S709中从颜色信号Col1·Col2·Col3变换到颜色信号红·绿·蓝(RGB)。从颜色信号Col1·Col2·Col3变换到颜色信号红·绿·蓝(RGB)例子如式3所示的那样。这是通过选择器906选择了多色感光层数据变换处理单元909时的处理。
此外，如果是单色感光层且结束了色插值处理(步骤S707、S708)，则在步骤S710中根据通用属性信息的滤色器特性进行是否是补色滤光片的判断。在是补色滤光片时，在步骤S711中进行从颜色信号深蓝·品红·黄(CMY)到颜色信号红·绿·蓝(RGB)的变换。从颜色信号深蓝·品红·黄(CMY)到颜色信号红·绿·蓝(RGB)的变换如式2所示的那样。这相当于通过选择器906选择了插值处理单元907’和YMC变换处理单元908时的处理。这里，插值处理单元907’执行与插值处理单元907同样的插值处理(式4)。
进而，在步骤S712中判断构成CCD的像素的纵横比率是否是1∶1。当构成CCD的像素的纵横比率不是1∶1时，在步骤S713中进行使像素的纵横比率成为1∶1的变换。像素向纵横比率为1∶1的变换如式5和式6所示的那样。这是利用图9的选择器910和纵横比变换单元911的处理。
如以上这样，将从摄像元件输出的信号进行数字变换而得到的非压缩或者可逆压缩状态的RAW方式的图像数据，通过使用基于与其相关联的图像属性信息而从多种处理模块中选出的处理模块，被变换成与通用形式不同的中间形式的图像数据。通过该处理，可以得到维持作为RAW图像数据的优点并能进行公共的图像处理的图像信息(中间形式的图像数据912)。因而，以下的从步骤S714到S721的各处理可以为不依赖于制造商和摄像装置的种类的处理。
在步骤S714中，读入用户为了调整像质而设定的信息(以下作为用户设定信息)。所谓用户设定信息是指例如锐度、对比度、彩色矩阵、色调曲线(tone curve)、亮度、色饱和度、色调、白平衡等。
在步骤S715中，基于用户设定信息和/或通用属性信息进行白平衡处理。所谓白平衡处理所需要的通用属性信息是指例如光源信息、闪光ON/OFF或闪光强度等。
在步骤S716中，将红·绿·蓝的颜色信号(RGB)变换成亮度(Y)、红色(Cr)、蓝色(Cb)的信号(Y Cr Cb)。并且，在步骤S717中基于用户设定信息和/或通用属性信息进行亮度调整处理。这里，所谓亮度调整处理所需要的通用属性信息是指例如曝光时间、快门速度、光圈值、亮度值、曝光校正值、被摄物体距离、测光方式、F数、曝光程序等。进而，在步骤S718中基于用户设定信息和/或通用属性信息进行色彩调整处理。
在步骤S719中基于用户设定信息和/或通用属性信息进行锐度调整处理。锐度处理所需要的通用属性信息是指例如曝光时间、快门速度、光圈值、亮度值、曝光校正值、被摄物体距离、测光方式、F数、曝光程序、镜头的畸变信息、镜头焦距、镜头最小F值及ISO速率等。
在步骤S720中将亮度、红色、蓝色的信号(Y Cr Cb)变换成红·绿·蓝的颜色信号(RGB)。
在步骤S721中变换保存为通用格式。这里，所谓通用格式是指位图或JPEG格式等。
由于通过本实施方式的S703～S713的处理可以吸收制造商或机型所导致的不同，故S714～S721可以对所有RAW图像进行公共的图像处理(图像加工处理)。因而，在开发出优异的算法处理时，只需变更步骤S714～S721的相应的处理或者追加处理即可。
此外，在使用具有新的特性的CCD的滤色器时，通过对步骤S706～S713的处理进行追加处理或变更处理，可以变换成本实施方式的用于进行公共的图像处理的颜色信号红·绿·蓝(RGB)。另外，当存在不能处理的新的特性信息时或者对于不能读入的RAW图像文件，只要在RAW图像文件的头部添加记述不能处理的信息，从后面进行追加处理或变更处理与之对应即可。即，既可以是可进行一部分图像处理的部分处理到中途，从后进行追加处理，也可以对不能读入的未处理的RAW图像文件施加变更处理后进行对应。通过采用这种做法，可以进行最大限度的图像处理，也可以对新的图像文件的形式通过追加处理或者变更处理等的更新而与之对应。
这里，本实施方式的属性信息是以例如在附属于图像文件的头部进行记录为例的，但只要是与图像信息相关联地保存，无论是保存在其他文件中还是所保存的介质等不同，只要图像处理装置读入的条件齐备便可以加以利用。
如以上说明过的那样，根据上述实施方式，在读出并再现从摄像传感器输入且不进行图像处理地记录的图像信息的图像处理装置中，即使是用于再现RAW图像信息的图像处理和/或再现所需要的属性信息、和/或图像信息主体的特性不同时，也能够用公共的图像处理方法进行图像处理和/或再现，因而使用者没有了需要注意有关图像处理的差异的烦恼，提高了操作性。此外，根据本实施方式，由于不损失原始的RAW图像所具有的信息，即变换成与原始的RAW图像没有实质性损失的通用形式的图像数据，所以像质几乎不降低。另外，在图像处理的开发中，因RAW图像的不同导致的图像处理的源代码可以像例如输入不同形式的RAW图像的接口部分等那样，变更较少的地方即可，削减了开发成本。
<其他实施方式>
此外，显然本发明的目的也可以如下来实现：将记录了实现上述的实施方式的功能的软件的程序代码的存储介质提供给系统或者装置，该系统或者装置的计算机(或者CPU、MPU)读出并执行保存在存储介质中的程序代码。
此时，从存储介质读出的程序代码本身就实现上述的实施方式的功能，存储有该程序代码的存储介质便构成了本发明。
作为用于供给程序代码的存储介质，可以使用例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性的存储卡、ROM等。
另外，不仅是通过计算机执行所读出的程序代码，可以实现上述实施方式的功能，显然基于该程序代码的指示，由在计算机上运行的OS(操作系统)等执行实际处理的一部分或者全部，通过该处理实现上述实施方式的功能的情况也包括在内。
进而，显然，当从存储介质读出的程序代码被写入插在计算机中的功能扩展卡或连接在计算机上的功能扩展单元所具备的存储器后，基于该程序代码的指示，由该功能扩展卡或功能扩展单元所具备的CPU等执行实际处理的一部分或者全部，通过该处理来实现上述实施方式的功能的情况也包括在内。
此外，在实施例中，作为摄像元件对CCD进行了说明，但也可以是CMOS等的摄像元件。
在本实施方式中，作为RAW数据，使用了对由摄像元件输出的信号进行A/D变换且不进行压缩处理的图像数据，但也可以是在A/D变换后进行了可逆压缩的数据。
另外，其他方面，RAW数据既可以是从摄像元件得到的输出模拟信号，也可以是对实施了A/D变换的图像信号至少没有进行白平衡处理的阶段的信号、对从摄像元件得到的实施了A/D变换的图像信号没有进行分开成亮度信号和颜色信号的色分离处理的阶段的信号、或者在使用了Beyar排列等的滤色器时等，对来自滤色器的输出信号没有进行色插值处理的阶段的信号，任何一种均可。