显示装置 相关申请的交叉参考
本申请遵照35USC第119节，对以下日本专利申请号要求优先权：2002年7月12日提交的2002-204511号、2002年7月1 2日提交的2002-204559号、2002年7月26日提交的2002-218687号、2002年9月13日提交的2002-267972号、2002年10月28日提交的2002-313255号、2002年10月28日提交的2002-313273号、2002年10月28日提交的2002-323309号和2002年12月27日提交的2002-381775号。其全部内容经参考引入本说明。
【技术领域】
本发明涉及具有图像取入功能的显示装置。
背景技术
液晶显示装置具有排列信号线、扫描线和象素TFT的阵列基片以及驱动信号线和扫描线地驱动电路。由于近来集成电路的进步，在阵列基片上形成部分驱动电路工艺技术已付诸实用。因此，能使整个液晶显示装置轻、薄且短小，广泛用作便携电话和笔记本型计算机等各种便携设备的显示装置。
已提出阵列基片上配置进行图像取入的接触型面积传感器的、具有图像取入功能的显示装置(参考例如特开2001-292276号公报和特开2001-339640号公报)。
这种具有图像取入功能的已有显示装置使传感器连接的电容器的电荷量随传感器上的感光量变化，并检测出电容器两端的电压，以进行图像取入。
然而，流过传感器的电流微弱，因而难以高精度检测该电流产生的电容器两端的电压变化，测量误差大。因此，取入图像容易出现噪声。
此外，为了检测电容器两端的电压而在电容器连接SRAM和缓存器电路时，利用是否超过组成SRAM和缓存器电路的晶体管的门限值电压进行“0”或“1”的判断，但晶体管的门限值电压存在波动，所以“0”和“1”的判断基准可能偏移。流过传感器的电流也有波动，“0”和“1”的判断基准也可能偏移。
【发明内容】
本发明鉴于以上各点而完成，其目的在于提供不受光泄漏波动和晶体管等电特性波动影响，而能进行图像取入的显示装置。
本发明的显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件至少各设置一个并且分别接收指定范围的入射光后将其变换成电信号的摄像部、积存与所述摄像部变换的电信号相适应的电荷的电荷积存部、和信号处理部，该处理部根据多个摄像条件各自在所述电荷积存部积存的电荷，产生与所述摄像部摄取的图像对应的数字图像数据。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件至少各设置一个并且分别接收指定范围的入射光后将其变换成电信号的摄像部、积存与所述摄像部变换的电信号相适应的电荷的电荷积存部、对所述电荷积存部积存的电荷所对应的2值数据进行放大的摄像数据放大部、根据所述摄像数据放大部放大的2值数据检测摄像对象的平均灰度的平均灰度检测部、根据所述平均灰度检测部的检测结果设定所述摄像部中进行摄像时所述显示元件的显示亮度的亮度设定部、多次切换并控制所述摄像部的摄像时间的摄像时间控制部、和图像数据产生装置，该装置设定在所述亮度设定部所设定显示亮度的状态下，根据所述摄像时间控制部切换控制的各摄像时间中所述摄像部摄像结果产生与摄像图像对应的数字图像数据。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件至少各设置一个并且分别接收指定范围的入射光后将其变换成电信号的摄像部、积存与所述摄像部变换的电信号相适应的电荷的电荷积存部、对所述电荷积存部积存的电荷所对应的2值数据进行放大的摄像数据放大部、所述摄像部中进行摄像时用的存储表示多个所述显示元件组成的块的显示状态的多个基准图案的基准图案存储部、从所述基准图案存储部选择多种与所述摄像部的摄像结果近似的基准图案的基准图案选择部、和图像数据产生装置，该装置在所述显示元件显示使所述基准图案选择部所选基准图案各自的明暗相反的基准图案的状态下根据所述摄像部重复进行所述摄像的结果产生摄像图像对应的数字图像。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件至少各设置一个并且分别接收指定范围的入射光后将其变换成电信号的摄像部、积存与所述摄像部变换的电信号相适应的电荷的电荷积存部、暂时存放与所述电荷积存部所积存的电荷相适应的信号的摄像结果存放部、和根据控制信号线的逻辑切换控制是否输出所述摄像结果存放部存放的信号的输出切换控制部，所述控制信号线的至少一部分配置成与所述摄像结果存放部的电源线上下叠合。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件至少各设置一个并且分别接收指定范围的入射光后将其变换成电信号的摄像部、积存与所述摄像部变换的电信号相适应的电荷的电荷积存部、暂时存放与所述电荷积存部所积存的电荷相适应的信号的摄像结果存放部、和根据控制信号线的逻辑切换控制是否输出所述摄像结果存放部存放的信号的输出切换控制部，所述摄像结果存放部的电源线电阻小于所述输出切换控制部的输出线电阻。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、和分别对应于所述显示元件各设置多个并且各自接收不同范围的入射光以便积存与感光量对应的电荷的传感器，所述传感器具有输出与感光量对应的电信号的光电变换部、积存与所述电信号对应的电荷的电荷积存部、切换所述电荷积存部是否积存初始电荷的初始化控制部、和切换是否输出与所述电荷积存部的积存电荷对应的信号的输出控制部。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成并且构成显示画面的显示元件、设置在所述显示画面内的传感器、和对所述传感器的输出信号进行A/D变换的A/D变换器，在形成所述信号线和扫描线、所述显示元件和所述传感器的绝缘基片的边框部分形成所述A/D变换器。
此外，显示装置包括在纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件设置的传感器、将所述传感器积存的电荷变换成数字信号的A/D变换器、和将所述数字信号变换成串行信号输出的移位寄存器，所述移位寄存器具有将由m(m为2以上的整数)位组成的所述数字信号变换成第1串行信号输出的第1移位寄存器、将由n(n为2以上的整数)位组成的所述数字信号变换成第2串行信号输出的第2移位寄存器、和选择所述第1和第2串行信号的某一方加以输出的串行信号选择部。
此外，显示装置包括在绝缘基片上纵横排列的信号线和扫描线的各交点附近形成的显示元件、分别对应于所述显示元件形成在所述绝缘基片上的传感器、形成在所述绝缘基片上并且将所述传感器积存的电荷变换成多位组成的数字信号的A/D变换器、形成在所述绝缘基片上并且将所述数字信号变换成第1串行信号输出的多个移位寄存器、形成在与所述绝缘基片不同的基片上并且选择所述多个第1移位寄存器各自输出的多个第1串行信号的某一个加以输出的串行信号选择部、和形成在与所述绝缘基片不同的基片上并且将所述串行信号选择部的输出信号变换成与所述多个第1串行信号对应的多个第2串行信号的S/P变换部。
【附图说明】
图1是本发明显示装置第1实施形态的概略组成图。
图2是详细示出象素阵列部1的一部分的框图。
图3是详细示出图2的一部分的电路图。
图4是示出SRAM内部结构的电路图。
图5是显示装置的剖面图。
图6是示出图1所示逻辑IC的内部结构的框图。
图7是示出电容器所加电压切换例的图。
图8是示出一例CPU的处理动作的流程图。
图9是示出名片图像取入例的图。
图10是示出对周围8图像取平均的状况的图。
图11是示出表示图8的处理结果的图像例的图。
图12是示出一例含字符“T”的图像的图。
图13是示出对图12中虚线行进行图像取入的结果的图。
图14是最后取得的作为取入图13的图像的结果的图。
图15是示出在另一存储器存放各摄像条件下的图像取入结果例的图。
图16是示出存储器容量减少例的图。
图17A是示出一例图像对象的图，图17B是示出一例图像结果的图。
图18是示出本发明显示装置第2实施形态的总体结构的框图。
图19是示出玻璃基片上的信号线驱动电路、扫描线驱动电路、传感器控制电路和信号处理输出电路与控制电路基片上的控制IC和存储器的连接关系的框图。
图20是示出一例玻璃基片31的详细结构的框图。
图21是示出一例扫描线驱动电路3的详细结构的框图。
图22是示出一例信号处理输出电路54的详细结构的框图。
图23是示出一例同步信号产生电路71的详细结构的框图。
图24是示出一例P/S变换电路72的详细结构的框图。
图25是示出一例译码器内部结构的电路图。
图26是示出一例锁存器内部结构的电路图。
图27是示出一例输出缓存器73的详细结构的框图。
图28是象素阵列部1的一个象素的详细电路图。
图29是玻璃基片31上一个象素的布局图。
图30是本实施形态的显示装置的动作说明图。
图31是模式m1的动作定时图。
图32是模式m2、m3的动作定时图。
图33是模式m4、m5的动作定时图。
图34是块划分说明图。
图35是示出一例图18的控制IC55进行的处理动作的框图。
图36是示出摄像时间与平均灰度的关系的图。
图37是示出一例步骤S7中得到的图像数据的图。
图38是平均灰度增量说明图。
图39是示出一例本实施形态摄像结果的图。
图40是示出一例第2实施形态中各块的显示亮度的图。
图41是示意第2实施形态中相邻4个块的摄像图像的图。
图42是示出在与图4时相同的条件下进行摄像时的第3实施形态处理结果的图。
图43是示意第3实施形态中相邻4个块的摄像图像的图。
图44是示出本发明显示装置第4实施形态概略结构的框图。
图45是示出一例基准图案存放部存放的基准图案的图。
图46是示出本实施形态的控制IC55进行的处理动作的框图。
图47是示出一例摄像对象的图。
图48是示出一例摄像结果的图。
图49是示出一例相反图案的图。
图50是示出一例传感器摄像数据的图。
图51是示出一例最终摄像结果的图。
图52是详细示出象素阵列部3的一部分的框图。
图53是详细示出一个象素的结构的电路图。
图54是与图53的电路图对应的平面布局图。
图55是显示装置第6实施形态中一个象素的平面布局图。
图56是详细示出图52的一部分的电路图。
图57是示出检测电路91的详细结构的电路图。
图58A是锁存器详细电路图，图58B是移位寄存器详细电路图。
图59是示出放大器变换例的电路图。
图60是从移位寄存器95传送到CPU的图像数据的动作定时图。
图61是示出可降低移位寄存器95的工作频率的电路结构的框图。
图62是第1移位寄存器部95a、第2移位寄存器95部和P/S变换电路96的输出定时图。
图63是示出图61的电路的变换例的框图。
图64是示出锁存器加移位寄存器的结构的框图。
图65是在阵列基片外部进行排列变换时移位寄存器95后级侧的框图。
图66A是P/S变换电路的框图，图66B是S/P变换电路的框图。
图67是示出D锁存器内部结构的电路图。
图68是图65的电路的定时图。
图69是提取第1实施形态的特征部分而组成的显示装置的框图。
图70是图69的变换例的显示装置框图。
图71是图70的变换例的显示装置框图。
具体实施形态
下面，参照附图具体说明本发明的显示装置。
图1是本发明显示装置第1实施形态的概略组成图，具有图像取入功能。图1的显示装置用玻璃基片31和半导体基片32构成。玻璃基片31上设置排列信号线和扫描线的象素阵列部1、驱动信号线的信号线驱动电路2、驱动扫描线路扫描线驱动电路3和取入图像并加以输出的检测输出电路4。这些电路利用例如多晶硅TFT形成。信号线驱动电路2具有图中未示出的D/A变换电路，将数字象素数据变换成适合驱动显示元件的模拟电压。D/A变换电路可用公知的结构。半导体基片32上安装进行显示控制和图像取入控制的逻辑IC33。玻璃基片31与半导体基片32通过例如FPC进行各种信号的收发。
图2是示出象素阵列部1的一部分的框图。图2的象素阵列部1具有在纵横排列的信号线和扫描线的各交点附近形成的象素TFT11、连接在象素TFT11的一端与Cs线之间的液晶电容C1和辅助电容C2、每一象素TFT11各设置2个的图像取入用传感器12a和12b。传感器12a、12b连接图中未示出的电源线和控制线。
图2示出为了提高图像取入的析像度，每一象素设置2个传感器12a、12b的例子，但传感器的数量没有特别限制。
图3是详细示出图2的一部分的电路图。如图3所示，传感器12a、12b分别具有光电二极管D1、D2和传感器切换用晶体管Q1、Q2。光电二极管D1、D2输出与感光的光量对应的电信号。传感器切换用晶体管Q1、Q2交替选择1个象素内的多个光电二极管D1、D2中的某一个。
各象素具有2个传感器12a和12b、同一象素内的2个传感器12a和12b共用的电容器C3、对检测线输出与电容器C3积存的电荷对应的2值数据的缓存器(BUF)13、进行对缓存器13的写入控制的晶体管Q3以及使缓存器13和电容器C3初始化的复位用晶体管Q4。
缓存器13由静态RAM(SRAM)组成，例如，如图4所示，具有串联的2个反相器IV1和IV2、配置在后级反相器IV2的输出端子与前级反相器IV1的输入端子之间的晶体管Q3和连接后级反相器输出端子的输出用晶体管Q6。
信号SPOLB为高电平时，晶体管Q5导通，2个反相器IV1、IV2进行保持动作。信号OUTi为高电平时，在检测线输出保持的数据。
本实施形态的显示装置能进行通常的显示动作，还能进行与扫描器相同的图像取入。进行通常的显示动作时，将晶体管Q3设定为阻断状态，使缓存器13不存放有效数据。这时，给信号线提供来自信号线驱动电路2的信号线电压，进行与该信号线电压相应的显示。
另一方面，进行图像写入时，如图5所示，阵列基片21的上表面侧配置图像取入对象物(例如纸张)22，使来自背后照明23的光通过对置基片24和阵列基片21照射到纸张22。纸张22反射的光由阵列基片21上的传感器12a、12b接收，以进行图像取入。这时用于图像取入的动作不影响显示。
如图3所示，取入的图像数据存入缓存器13后，通过检测线送到图1所示的逻辑IC33。该逻辑IC33接收本实施形态的显示装置输出的数字信号，并且进行数据排列变换和去除数据中的噪声等运算处理。
图6是示出图1所示逻辑I采33的内部结构的框图。如图6所示，逻辑IC33具有进行对象素阵列部1的显示控制的显示控制部41、进行传感器12a和12b的图像取入控制的图像取入控制部42、对整个逻辑IC33进行控制的CPU43和CPU43用于作业的主存储器44。
图像取入控制部42具有暂时存放图3中检测线上的摄像数据的缓存器45和产生图像取入用的控制信号的控制信号产生电路46。CPU43根据缓存器45存放的摄像数据进行取入图像的图像处理，并产生显示用的图像数据。
显示控制部41具有暂时存放CPU43产生的显示用图像数据的缓存器47和产生控制图1中信号线驱动电路2和扫描线驱动电路3的动作定时的控制信号的控制信号产生电路48。
进行图像取入时，在各象素的电容器43预先积存初始电荷，使其成为高于SRAM的首级反相器门限值电压的电位。传感器12a、12b取入很白的图像时，从纸张的反射光使传感器12a、12b中流通电流，相应的电容器C3的电荷对该传感器12a、12b放电，造成电容器C32两端的电压降低。反之，传感器12a、12b取入很黑的图像时，该传感器中不流通很多电流，电容器C3两端的电压几乎没有变化。
因此，通过检测电容器C3两端的电压，能判断取入图像的浓淡。本实施形态将电容器C3两端的电压暂时存入缓存器13。该缓存器13在电容器C3两端的电压为SRAM首级反相器门限值电压以上时，判断为“1”(高电平)；不到该门限值，则判断为“0”(低电平)。
然而，传感器12a、12b的光泄漏电流波动大且微弱，因而电容器C3两端的电压容易产生波动。此外，组成SRAM的晶体管的门限值电压也波动，因而即使取入相同的图像，也根据情况，判断为“1”，或判断为“0”。这样的波动呈现为取入图像的噪声。与市售扫描器等惯用的在硅晶片上形成的光电变换元件的电流波动相比，显示装置的阵列基片用的玻璃基片等绝缘基片上形成的光电变换元件电流波动大。后者面积大，处理温度低(受基片耐热温度限制)，因而其形成难以均匀。因此，需要与某种形式配备显示装置特有的波动的补偿装置。希望能再现摄像对象的微妙灰度，但因上述波动而受阻。下面说明传感器电路用特性波动大的晶体管和存在泄漏电流波动的光电变换元件组成，同时能减少噪声或再现灰度显示的装置和结构。
图6所示的CPU43改变传感器12a、12b的摄像条件，多次进行图像取入，并且根据这些多次图像取入的结果产生最终的取入图像数据。具体而言，如图7所示，使对电容器C3施加的电压Vprc变化4次，并把对电容器C3施加各种电压Vprc的状态下分别进行图像取入的控制信号供给玻璃基片。又进行玻璃基片所输出图像取入结果的数字数据的运算处理。输入到玻璃基片的信号(数字图像数据、控制时钟、控制信号)和从玻璃基片输出的信号都是数字信号(基于摄像结果的数字信号)，因而能在1块芯片上方便地形成图6所示的显示控制部41和图像取入控制部42。假设玻璃基片上没有D/A变换电路，则显示控制部41需要放大电路(模拟电路)，难以单片化，但本实施形态不耗费成本就能单片化。
随着近年半导体制造工艺微细化的进步和集成度的提高，能方便地使图6的CPU43和主存储器44与显示控制部41和图像取入控制部42一起单片化。
图8是示出一例CPU43的处理动作的流程图。首先，CPU在每一象素设置的图3的电容器C3的一端施加电压Vprc＝3.5V(比较接近SRAM首级反相器门限值的值。反相器的门限值以电源电压(5V)之半的2.5V为中心产生波动。)，使该电容器C3积存初始电荷(步骤S1)。
接着，进行第1次图像取入(步骤S2)。这时，读取图像的白部或接近白的灰部的流过传感器12a、12b的电流，使电容器C3的初始电荷放电，电容器C3两端的电压降低。反之，读取图像黑部分的传感器12a、12b不流通电流，电容器C3两端的电压几乎无变化。
步骤S2中，电容器C3两端的电压高于SRAM首级反相器门限值电压时，判断为该象素黑。即，步骤S2首先在取入图像中仅提取黑色的部分，将提取的象素确定为黑色的象素值，而其他象素作为白色的象素值后，存放到主存储器44(步骤S3)。由于电容器C3的预充电电压取为比较接近SRAM首级反相器门限值电压的电压，与传感器部对置的图像部分有些较白，就产生少量泄漏电流，使电容器C3的电位低于SRAM首级反相器门限值电压的概率提高。反过来讲，此状态下，C3的电压连续保持高于反相器门限值电压不变，就可相当于将对应的图像部分首先无差别地判断为黑。
例如，图9是取入名片(白底黑字)的图像的例子，图9的(a)示出步骤S1～S3中得到的取入图像。在步骤S3仅将很黑的象素检测为黑，因而如图9的(a)那样，得到的图像总体上很白且多少擦掉字符。
接着，在电容器C3的一端施加电压Vprc＝4V，使该电容器C3积存初始电荷(步骤S4)，进行第2次图像取入(步骤S5)。这时，就连比第1次略为较白的部分，也有可能判断为黑。
第2次图像取入结束时，提取第1次为白色且第2次判断为黑色象素，计算所提取象素周围8个象素的第1次象素值的平均值，并将该平均值作为所提取象素的象素值(步骤S6)。
图9的(b)示出步骤S4～S6中得到的取入图像。将比图9的(a)略为较白的图像也判断为黑，因而得到比图9的(a)总体上较黑的图像。
此步骤S6中，例如设图10斜线部所示的象素是提取象素，则将其周围8个象素的象素值G1～G8的平均值(G1+...+G8)/2作为提取象素的象素值。如果G1～G8全白，象素值为白，如果G1～G8各有若干白、黑，则象素值为中间灰度。
接着，在电容器C3的一端施加电压Vprc＝4.5V，使该电容器C3积存初始电荷(步骤S7)，进行第3次图像取入(步骤S8)。这时，就连比第2次略为较白的象素，也有可能判断为黑。
图9的(C)示出步骤S7～S9中得到的取入图像。将比图9的(b)略为较白的图像也判断为黑，因而得到比图9的(b)总体上较黑的图像。
第3次图像取入结束时，提取第2次为白色且第3次判断为黑色的象素，计算所提取象素周围8个象素的第1次象素值的平均值，将该平均值作为所提取象素的象素值(步骤S9)。
接着，在电容器C3的一端施加电压Vprc＝5V，使该电容器C3积存初始电荷(步骤S10)，进行第4次图像取入(步骤S11)。这时，就连比第3次略为较白的象素，也有可能判断为黑。
图9的(d)示出步骤S10～S12中得到的取入图像。将比图9的(c)略为较白的图像也判断为黑，因而得到比图9的(c)总体上较黑的图像。
第4次图像取入结束时，提取第3次为白色且第4次判断为黑色的象素，计算所提取象素周围8个象素的第1次象素值的平均值，将该平均值作为所提取象素的象素值(步骤S12)。
作为进行步骤S12的处理的结果得到的图像为图11所示的图像，显然连中间灰度也能表现，而且能去除噪声。
图12示出一例含字符“T”的图像，图13示出进行图12中虚线行的图像取入的结果。如图中所示，第1次图像取入时，仅象素P7为“H”(高电平)。因此，该时刻仅将象素P7判为黑色，并且给象素P7分配黑色的象素值。
接着，进行第2次图像取入时，象素P9重新为“H”。因此，将其周围8个象素在上次的象素值(这时全为白色象素值)的平均值作为象素P9的象素值。
接着，进行第3次图像取入时，象素P4重新为“H”。因此，将其周围8个象素在上次的象素值(这时全为白色象素值)的平均值作为象素P4的象素值。
接着，进行第4次象素取入时，全部象素P1～P15为“H”。因此，剩下的全部象素P1～P3、P5、P6、P8、P9、P11～P15根据其周围8个象素在上次的象素值的平均值决定象素值。
用这种方法对图12的全部行进行图8的处理，则最后得到图14那样的图像。查看图14可知，能去除图像取入时的噪声，同时连中间灰度也能再现。根据多个2值图像合成多灰度图像的方法可作各种变换。
本实施形态中，如图8的流程图所示，改变摄像条件并进行多次图像取入(次数越多，图像再现精度越高)，并且根据各次图像取入结果决定最终的取入图像，因而需要存储各次的图像取入结果。例如，如图15所示，在主存储器44存放各次图像取入结果，则所需存储器容量大。考虑用于强弱要求整机小型化的便携电话等小型信息终端时，希望用有限的计算资源能完成的运算处理。作为计算资源的例子，可举出用于保持CPU43进行计算用的数据的存储器。
因此，本实施形态在图像取入控制部42内设置缓存器45，在该缓存器45预先存放1次的图像取入结果，并将该结果传送到主存储器44。CPU43按照图8的流程图利用主存储器44的数据进行1次的处理，并将该处理结果存放到主存储器44的其他存储区。该期间，缓存器45存放下次的图像取入结果。此后，重复同样的动作，从而取得最终的取入图像。
这时，如图16所示，主存储器44仅存放1次的图像取入结果，因而能减小主存储器44的容量。
这样，本实施形态根据改变摄像条件进行多次图像取入的结果，决定最终的取入图像，因而不受传感器12a、12b的特性波动和SRAM门限值电压波动等的影响，而能进行特性取入，取得噪声小且连中间灰度也能再现的图像。
上述实施形态中，作为多个摄像条件，说明了改变加给电容器C3的电压的例子，但也可每一摄像条件改变进行图像取入的时间，以代替改变加给电容器C3的电压。或者，也可改变液晶的透射率。图9示出条件变化的具体例，但也可以是含义方面相同的变换。
还可以改变加给电容器C3的电压，同时使进行图像取入的时间变化。这时，能进一步增多摄像条件的数量。
图69是汇集以上所说明实施形态1的特征部分的显示装置的框图。如图69所示，绝缘基片上设置对各象素使传感器的值2值化的象素阵列部1、信号线驱动电路2、扫描线驱动电路3和输出从象素输出的2值化数据的串行输出电路103。象素阵列部1的每一象素设置象素显示保持电路102和2值化输出电路103。绝缘基片外部的逻辑IC设置指示读取多种条件下的图像的图像读取指示部104和根据多个2值图像合成多灰度图像的多灰度图像合成部105。
通过采用这种结构，即使传感器输出和TFT特性方面波动较大时，也能读取良好的多灰度图像。
再者，无保持象素显示的电路，则传感器进行读取/输出动作时，显示亮度异常变化，照射到摄像对象物的光量异常波动，最后得到的多灰度图像呈现异常色斑。此外，二值化具有信号放大效果，因而即使显示装置那样画面面积大而布线驱动负载大的装置，也能将象素信号可靠地传到边框部。
进一步添加从多灰度图像去除色斑用的一般图像处理部也有效。
实施形态2
摄像对象的浓淡未必相同，其黑色密度因场所而异。例如，用传感器拍摄图17(a)的“东芝松下ディスプレィ”的字符时，得到图17(b)那样的摄像结果。如图中所示，“东”字比其他字黑色密度高，因而黑掉。反之，“レ”和“ィ”则黑的密度低，其字划接近几乎消失。
这样黑密度高的字符黑掉，是因为周围白色纸张/玻璃基片界面等上的多重反射光难以入射。反之，黑色密度低的字符线条接近消失，是因为多重反射光入射得多，使黑线宽度变细。
因此，以下说明的实施形态2，其特征是以顾及拍摄对象的部分黑密度波动的方式进行图像取入。这时，与单纯的传感器阵列不同，积极利用将其与显示装置综合为一体，通过调整各象素的亮度补偿传感器等的特性波动。
图18是示出本发明显示装置实施形态2的总体结构的框图。图28的显示装置具有形成象素阵列部1和部分驱动电路的玻璃基片31以及用柔性缆线(FPC)51连接到该玻璃基片31的控制电路板52。
玻璃基片31上形成排列象素TFT11和图像读取用传感器12的象素阵列部1、驱动信号线的信号线驱动电路2、驱动扫描线的扫描线驱动电路3、控制传感器12的传感器控制电路53和输出传感器12的摄像结果的信号处理输出电路54。玻璃基片31上的各电路利用例如多晶硅TFT形成。
控制电路板52上安装控制玻璃基片31上各电路的控制IC55、存储图像数据等的存储器56以及输出玻璃基片31和控制电路板52中使用的各种直流电压的电源电路57。可与控制IC55分开另行设置CPU，可将存储器56和电源电路57与控制IC55综合为一体，还可在控制电路板52上安装分立部件。
图19是示出玻璃基片31上的信号线驱动电路2、扫描线驱动电路3、传感器控制电路53和信号处理输出电路54与控制电路板52上的控制IC55和存储器56的连接关系的框图。
如图中所示，控制IC55内置显示控制部41、图像取入控制部42和CPU。显示控制部41对信号线驱动电路2和扫描线驱动电路3发送数字象素数据和同步信号、时钟信号等控制信号。图像取入控制部42对传感器控制电路53和信号处理输出电路54发送控制信号，并且接收来自信号处理输出电路54的摄像数据和根据需要指明摄像数据位置用的同步信号。显示控制部41的内部设置缓存器47和控制信号产生电路48，图像取入控制部42的内部也设置缓存器45和控制信号产生电路46。
图20是示出玻璃基片31详细结构的框图。本实施形态的象素阵列部1具有水平方向320象素×垂直方向240象素的显示析像度。象素在水平方向划分成红、蓝、绿的部分，分别设置信号线。信号线的总数为320×3＝960条，扫描线的总数为240条。
扫描线驱动电路3具有240级的移位寄存器61、SHUT(误动防止电路)62、电平移位器63、多路开关选择器(MUX电路)64和缓存器65。
信号处理输出电路54具有960个预充电电路66、3个选择译码器67、320级移位寄存器68和8个输出缓存器69。
图21是示出扫描线驱动电路3详细结构的电路图。图21中的特征部分是电平移位器63的后级设置MUX电路64。该电路64切换逐行使扫描线导通或使全部扫描线同时导通。全部扫描线同时导通是为了在存放传感器12的摄像结果的电容器C3积存初始电荷。
通过这样设置MUX电路64，不需要专用TFT切换是否在电容器C3积存初始电荷，因而能减小电路规模。
图22是示出信号处理输出电路54详细结构的框图。图22的信号处理输出电路54具有输出同步信号的同步信号产生电路71，将120条信号线供给的摄像数据变换成一串的串行数据的8个P/S变换电路72、对各P/S变换电路72输出的串行数据进行缓存的输出缓存器73和检测出摄像数据平均灰度的计数器74。这里，“平均灰度”是指在多个象素上对输出数据的灰度取平均的灰度。最后要组成256级灰度的图像时，在10个象素中5个象素为白的数据，其余5个象素为黑的数据的情况下，平均灰度为256(级)×5(象素)/10(象素)＝128(级)。
图23是示出同步信号产生电路71详细结构的框图。图23的该电路71具有NAND(与非)门75和时钟控制的D型F/F(触发器)76。D型F/F76的后级连接输出缓存器73。仅用绝缘基片上形成的NAND门等的组合电路，因TFT特性波动而相对于输出数据的相位波动变大，往往不能起同步信号的作用。因此，最好如图23那样，设置利用绝缘基片上的时钟进行控制的D型F/F，使与绝缘基片上的时钟的相位差减小。
图24是示出P/S变换电路72详细结构的框图。图24的该电路72具有3个输入和1个输出的译码器77、锁存器78和40级移位寄存器79。译码器77用图25那样的电路组成。锁存器78用图26那样的电路组成。通过共用移位寄存器61控制中用的时钟和图23D型F/F控制中用的时钟，能减小数据与同步信号的相位差。
图27是示出输出缓存器73详细结构的框图。如图中所示，级联多个缓存器(反相器)80而构成该缓存器73。越后级的缓存器，组成各反相器的TFT的沟道宽度越大，以确保需要的外部负载(柔性缆线(FPC)51等)驱动力。
图28是象素阵列部1中1个象素的详细电路图，图29是玻璃基片31上1个象素的布局图。如图28所示，1个象素由RGB的3个副象素81r、81g和81b组成，各副象素具有象素TFT11、控制是否在辅助电容Cs积存电荷的显示控制TFT82、图像取入传感器12、存放传感器12的摄像结果的电容器C3、存放与电容器C3积存的电荷对应的2值数据的SRAM83、使电容器C3积存初始电荷用的初始化用TFT84和保持SRAM83的数据用的TFT85。这里，利用根据辅助电容Cs积存的电荷决定的象素电极电位与对置基片上形成的公共电极电位的差，控制各象素的亮度。
进行电容器C3的初始化时，使象素TFT11和初始化用TFT84导通。将设定显示元件亮度用的模拟电压(模拟象素数据)写入辅助电容Cs时，使象素TFT11和显示控制TFT82导通。进行SRAM83的数据保持(刷新)时，使初始化用TFT84和数据保持用TFT84导通。对信号线供给SRAM83存放的摄像数据时，使象素TFT11和数据保持用TFT85导通。
图30是说明本实施形态显示装置动作的图。进行通常的显示时，进行模式m1的动作。另一方面，进行传感器12的图像取入时，首先进行模式m1的动作，以将全部象素的亮度设定为规定值。其次，按模式m2进行全部象素的电容器C3预充电(积存初始电荷)。又次，按模式m3进行1个画面份额的红色分量象素取入。再之，按模式m4进行1个画面份额的绿色分量图像取入。最后，按模式m5进行1个画面份额的蓝色分量图像取入。
图31～图33是模式m1～m5的动作定时图。下面，用这些图依次说明m1～m5的动作定时。
模式m1中，如图31的时刻t1～t2所示，扫描线驱动电路3依次驱动扫描线，并且配合该定时，信号线驱动电路2对各水平行将模拟象素数据供给信号线。进行象素显示。利用公知的D/A变换电路变换控制IC55输出的数字象素数据，以取得模拟象素数据。利用公知技术(参考特开2000-305535公报)在玻璃基片上作为信号线驱动电路，以薄膜方式形成D/A变换电路。
模式m2中，如图32的时刻t3所示，扫描线驱动电路3按相同的定时驱动全部扫描线。在全部象素的传感器电容C3积存预充电电压(5V)。在时刻t4，初始化用TFT84和数据保持用TFT85同时导通，SRAM83进行刷新动作。时刻t3至时刻t4期间，即使传感器电容C3的预充电未完成，SRAM83的刷新动作也使全部传感器电容C3的预充电电压全为SRAM的电源电压。
模式m3中，如图32的时刻t5～t6所示，对各水平行将红色分量的摄像数据供给信号线。供给各信号线的红色分量摄像数据用图22所示的P/S变换电路72变换成串行数据后，在8条数据线上输出到外部。
模式m4中，如图33的时刻t7所示，对各水平行将绿色摄像数据供给信号线。 模式m5中，如图33的时刻t8所示，对各水平行将蓝色摄像数据供给信号线。
图18的控制IC55如图34所示，将320象素×240象素的显示区划分成40象素×30象素组成的块单元(形成水平方向8块×垂直方向8块)，并且以各块分别设定显示亮度的状态进行传感器12的摄像。这是本发明的1个特征。与已有的CMOS图像传感器不同，不是仅简单地形成传感器，而是摄像时积极有效利用各象素的亮度控制装置，以补偿传感器和TFT特性方面中的波动，从而能谋求象素画面质量高(确保均匀性等)。
图35是示出一例图38的控制IC55进行的处理动作的流程图。首先，一面进行各块的象素显示，使各块为规定的基准亮度(例如最大亮度的80％)，一面改变摄像时间，进行多次摄像(步骤S21)。这里，在10msec～50msec的范围内，以5msec为单位切换摄像时间，进行9次摄像(试摄像)。
接着，根据试摄像结果(利用摄像时间对平均灰度的曲线上的插补)，对各块求出块内平均灰度为大致中值(256级灰度时128级灰度的值)的摄像时间t(m、n)(步骤S22)。t(m、n)根据传感器泄漏电流波动、TFT特性波动、摄像对象的光反射特性、摄像对象的彩色、图形和字符等的线密度分布等，作种种变化。
如图36所示，改变摄像时间，使平均灰度变化大，因而上述步骤S22中对每一块求最佳摄像时间。
这里，对表示摄像结果的串行数据包含的“0”(低电平)或“1”(高电平)进行计数，并根据该计数结果，检测出各块的平均灰度。
接着，每块判断求出的摄像时间t(m、n)是否未达到基准时间(例如30msec)(步骤S23)。未达到基准时间的块，使其显示亮度Y低于基准亮度(例如最大亮度的80％)(步骤S24)，而基准时间以上的块，使其显示亮度Y为基准亮度以上(步骤S25)。即，用显示元件的亮度(照射到摄像对象的光量)补偿最佳摄像时间的波动。这种补偿方法不是已有CMOS图像传感器技术的延伸。每块改变摄像时间，控制复杂，不实用。
具体而言，例如根据以下的式(1)，设定各块的显示亮度Y。其中m表示行，n表示列。
Y(m,n)=80%·t(m,n)30---(1)]]>
式(1)的计算结果超过100％时，Y(m、n)＝100％。式(1)为例子，应根据显示元件的特性、传感器的特性、摄像对象的特性作变换。关键在于用显示亮度补偿面内最佳摄像时间的波动即可。
接着，以例如0.5msec的档改变摄像时间，同时在摄像时间10msec～50msec的范围内进行50张摄像(步骤S26；主摄像)。
接着，计算80张摄像的平均值后，取得最后的摄像数据(步骤S27)。例如图37示出一例在步骤S27得到的摄像数据。这时，不是以相同的间隔改变摄像时间进行摄像，而是如图37和图38所示，进行加权，使30msec附近的摄像进行得多些等，即使例如用次数少于81张的摄像结果计算平均值也可。能缩短总处理时间。或者，在计算平均值时，也可对各摄像结果进行加权。
通过进行图35那样的处理，如图34所示，即使摄像对象存在黑密度波动，也能如图39所示得到无局部黑掉和无擦除的良好摄像结果。
这样，实施形态2中，事先调查摄像对象的黑密度(利用试摄像)，在以块为单位设定适合摄像对象的显示亮度的状态下，进行传感器20的摄像，因而能得到不存在局部黑掉或擦除的、图像质量均匀的摄像图像。
本实施形态说明了摄像对象黑密度分布偏重引起的摄像结果黑掉的解决方法，但作为传感器泄漏电流偏大和TFT特性波动偏大等引起的摄像结果图像质量劣化的解决装置，也有同样的效果。
可按下列步骤进行试摄像后的主摄像动作。
(R1)进行图30的模式m1，使液晶显示为全面红显示。但是，根据试摄像使各块改变灰度。
(R2)进行模式m2，对全部传感器电容进行预充电。
(R3)进行模式m3、m4、m5，输出红信号线、绿信号线和蓝信号线所属象素的摄像数据。
(G1)进行模式m1，使液晶显示为全面绿显示。但是，根据试摄像使各块改变灰度。
(G2)进行模式m2，对全部传感器电容进行预充电。
(G3)进行模式m3、m4、m5，输出红信号线、绿信号线和蓝信号线所属象素的摄像数据。
(B1)进行模式m1，使液晶显示为全面蓝显示。但是，根据试摄像使各块改变灰度。
(B2)进行模式m2，对全部传感器电容进行预充电。
(B3)进行模式m3、m4、m5，输出红信号线、绿信号线和蓝信号线所属象素的摄像数据。
乍看，将显示作为全红进行摄像时，容易深信绿象素和蓝象素的传感器数据无意义，但并非如此。尤其在光源(液晶层背面设置的背后照明)的光是扩散光，从各种角度对摄像面照射光的情况下，而且如图5那样在液晶单元观察面侧配置传感器阵列的结构时，该数据有意义。与已有的接触型CMOS图像传感器不同，传感器不能与摄像对象接触，离开d(玻璃基片厚度+偏振片等的光学膜厚度)的程度(0.2mm至0.7mm)。背后照明光确实仅从红象素发出，但摄像对象上的反射光适当扩散。扩散范围为d的程度，象素间距等于或小于d的程度。因此，绿象素和蓝象素的传感器上也入射基于摄像对象的光。利用进行上述(R1)～(B3)的处理，从水平方向能得到高析像度。其后，一面改变摄像时间，一面多次重复上述处理后，进行平均处理。这部分与已经详述的实施形态相同，因而省略。
试摄像中，结局着眼于知道各块的平均灰度就满足，则试摄像中也可做成每块仅输出计数器的平均灰度计数结果。可停止8个数据输出电路，节省驱动外部负载用的耗电。
本实施形态在象素内设置SRAM。(1)对传感器的微弱电流进行放大，并且(2)在输出摄像后的数据前的期间保持数据，但不限于SRAM。也可(1)放大源跟随器中的电流。输出摄像后的数据前的期间因泄漏等而不能连续保持数据时，可准备摄像后输出数据的控制电路和序列。关键在于具有输出2值化后的数据的装置。
说明了划分显示画面并对每一块调整摄像时的显示亮度的例子，但画面对角尺寸较小的显示装置(2英寸程度以下适合便携电话等)或传感器和TFT特性在片内的波动小等情况下，不划分画面(划分数＝1)也可用。这时，可进行如下，不再划分试摄像和主摄像。
即，(1)首先使摄像时间为t0＝10msec(任何摄像对象都几乎不在传感器产生光泄漏而取得黑掉的画面的时间)，进行初始摄像数据输出和平均灰度计数。在控制IC55等的存储器保持初始摄像数据。
(2)使t＝t0+Δt(例如Δt＝0.5msec)，进行第2次摄像，并进行平均灰度计数。
(3)平均灰度未达到规定值，则不输出摄像数据，使摄像时间为t＝t0+2Δt，进行摄像和平均灰度计数。
(4)计数结果为规定值以上，则输出摄像数据，在控制IC55等的存储器中进行相加。
(5)适当增加摄像时间t，同时重复(2)～(4)，直到平均灰度等于256级的程度。
可认为利用上述(1)～(5)在存储器上完成的图像与上述实施形态中得到的图像同样摄像结果质量高。而且，图像运算用的存储器只需要1帧的程度。在节省硬件资源的便携电话中尤其有效。
实施形态3
实施形态2的情况下，由于每块设定显示亮度，根据情况，有时会相邻块之间显示亮度显著不同。
图40是示出一例实施形态2中各块显示亮度的图，横轴表示块的位置，纵轴显示亮度。为了便于理解，选出特定的1行所述的块。图41是示意实施形态2中相邻的4块的摄像图像。如这些图所示，相邻块间的显示亮度不连续变化。因此，相邻块上亮度差大，则拍摄白密度大的摄像对象时，可能产生图41那样的色斑。例如产生：理应白底相同，摄像结果却能看到每一方格状块的白色程度不同。
因此，实施形态3中，利用与图35相同的处理对各块内的中央象素设定显示亮度，使得从中央象素开始，显示亮度渐渐变化，相邻块的边界附近不太产生亮度差。
图42示出在与图40相同的条件下进行摄像时的实施形态3的处理结果，图43示意实施形态3中相邻4个块的摄像图像。如这些图所示，相邻块之间亮度差变化不大。
这样，实施形态3中，使亮度从块的中央象素往周边逐渐变化，相邻块之间亮度变化不大，因而块间亮度差而造成的摄像图像的色斑消失。
实施形态4
实施形态4将传感器12的摄像结果与预先准备的基准图案进行图案选配。
图44是示出本发明显示装置实施形态4的概略结构的框图。图44的显示装置除图19的组成部分外，还具有存放多个基准图案的基准图案存放部86。
图45是一例基准图案存放部存放的基准图案。各基准图案1a、1b、1c、2a、2b、2c、2d、3a、3b、3c、3d的规模为8象素×8象素，用黑色示出的部分表示图案。基准图案的规模的种类不限于图中所示的。
图46是示出本实施形态的控制IC55进行的处理动作的流程图。下面假设用传感器12拍摄图47那样的摄像对象的结果得到图48那样的摄像数据，对图46的流程图处理动作进行说明。
本实施形态的控制IC55与基准图案存放部86存放的全部基准图像进行比较(步骤S31)。
图45中各基准图案上部标注的数字是与图48的摄像数据不一致的象素数。控制IC55选择若干不一致象素数少的基准图案(步骤S32)。例如，假设控制IC55选择图45的4个基准图案1a、1b、1c、1d。
接着，控制IC55产生使所选基准图案的明暗相反的图案(图49的相反图案n1a、n1b、n1c、n1d)(步骤S33)，在象素阵列部1依次显示该相反图案，同时重复进行传感器12的设想(步骤S34)。这时，仅图49中的反向图案n1a、n1b、n1c、n1d的白色部分透光，因而传感器12的摄像数据成为图50那样。摄像数据r1a对应于基准图案1a和相反图案n1a，摄像数据rlb对应于基准图案1b和相反图案n1b，摄像数据r1c对应于基准图案1c和相反图案n1c，摄像数据r1d对应于基准图案1d和相反图案n1d。
接着，从摄像数据中选择若干白色象素数较少的基准图案(步骤S35)。例如，图50的例子中选择2个基准图案1a、1b。
接着，根据选择的基准图案取得最后的摄像结果(步骤S36)。这里，进行对选择的基准图案和首次得到的图像数据取平均等，从而得到图51所示的最后摄像结果。
这样，实施形态4中，预先准备多种基准图案，将传感器12的摄像数据与基准图案比较，从而产生最后的摄像数据。因此，传感器12的析像度不太高，就能得到高质量的摄像数据。本实施形态在拍摄预先将形状图案化的摄像对象时，特别效果大。
实施形态5
图52是示出象素阵列3的一部分的框图，图中所示虚线包围的各部分分别是1个象素。各象素具有象素TFT11、连接在象素TFT11的一端的液晶电容C1和辅助电容C2以及图像用的传感器12。传感器12连接图52中未示出的电源线和控制线。
图52中在1个象素内仅示出1个象素TFT11，但实际上1个象素内有红、绿和蓝用的3个象素TFT11，各象素TFT11分别具有传感器12。
图53是详细示出1个象素的结构的电路图。1个象素中，对应于各象素TFT11分别设置1个由光电二极管组成的传感器12。各传感器12的阳极端子连接电源线JVSS，阴极端子连接控制线L1。这些部分可全部形成在同一块基片(阵列基片)上，也可将一部分设置到对置基片。例如可将象素TFT11配置到对置基片。这时，在对置基片侧也设置信号线和扫描线。在同一块基片上将象素TFT等和传感器电路等综合为一体时，能加大开口率且降低背后照明耗电。(例如将对置基片侧的象素TFT与阵列基片侧的传感器和电容器元件配置成对置)。
此外，各象素还具有连接在电源线JVSS与控制线L1之间的电容器C3、存放与电容器C3积存的电荷对应的2值数据的SRAM13、进行对SRAM13的写入控制的晶体管Q3、使SRAM13和电容器C3初始化的复位用晶体管Q4、对SRAM13的输出进行放大的放大器(AMP)14和利用控制信号线OUT的逻辑切换并控制是否将放大器14的输出供给信号线Sig的晶体管Q5。
SRAM13具有串联的2个反相器IV1、IV2和连接在后级反相器IV2和输出端子与前级反相器IV1的输入端子之间的晶体管Q6。
信号SLB为高电平时，晶体管Q6导通，2个反相器IV1、IV2进行保持动作。控制信号线OUT(m)为高电平时，将保持的数据输出到信号线Sig。
图54是与图53的电路图对应的平面布局图。如图54的虚线25所示，本实施形态将控制信号线OUT(m)的至少一部分配置成与SRAM13和放大器14的电源线JVDD上下叠合。利用这样配置，如图5的虚线25所示，SRAM13和放大器14的电源线JVDD与控制信号线OUT(m)产生电容耦合，使控制信号线OUT(m)的布线电容增大。结果，晶体管Q5慢慢导通，信号线Sig的写入电流也慢慢变化。因此，能防止SRAM13和放大器14和电源线JVDD电压下降，不必担心进行图像取入的数据在信号线Sig上消失。能防止即使画面边端靠近供电端的部分能将图像取入结果正常输出到信号线，画面中央等远离供电端的部分也不能将图像取入结果正常输出到信号线的问题。
除将控制信号线OUT(m)的至少一部分配置成与SRAM13和放大器14的电源线JVDD上下叠合外，还可考虑在控制信号线OUT(m)与电源线JVDD之间显性连接电容器，但这样连接，开口率减小新设电容器的份额，显示质量变差。本实施形态的情况下，不需要显性设置这种电容器，因而开口率不可能减小。
这样，在实施形态5的情况下，将控制信号线OUT(m)的至少一部分配置成与SRAM13和放大器14的电源线JVDD上下叠合，因而能防止SRAM13和放大器14的电源线JVDD电压下降，不必担心进行图像取入的数据在信号线Sig上消失。
实施形态6
实施形态6使SRAM13和放大器14的电源线JVDD的电阻小于信号线Sig的电阻。
用与图53相同的电路组成本发明显示装置实施形态6。假设SRAM13和放大器14的电源线JVDD的电阻高于信号线Sig的电阻，则电源线JVDD上的电压降大于信号线Sig上的电压降，图像取入数据有可能消失。
因此，本实施形态使SRAM13和放大器14的电源线JVDD的电阻小于信号线Sig的电阻。
图55是显示装置实施形态6中1个象素的平面布局图。如图中所示，使电源线JVDD比信号线Sig线条粗，因而能使电源线JVDD的电阻低于信号线Sig的电阻。
或者，也可将信号线Sig做成多层结构。做成多层结构，则电阻相应增大，即使不特定改变线条粗细，也能使信号线Sig的电阻大于电源线JVDD的电阻。
电源线JVDD的电阻低于信号线Sig的电阻，即使同时在信号线Sig写入1水平行的图像取入数据，流过信号线Sig的电流也不可能急剧增大，电源线JVDD的电压也不会急剧降低。因此，能抑制电源线JVDD的电压降，防止数据消失。
这样，实施形态6中，使电源线JVDD比信号线Sig线条粗，因而能使电源线JVDD的电阻低于信号线Sig的电阻，即使同时在信号线Sig写入1水平行的图像写入数据，也不必担心信号线Sig上的信号消失。
实施形态7
图56是详细示出图52的一部分的电路图。如图56所示，传感器12a分别具有光电二极管D1和传感器切换用晶体管Q1，传感器12b分别具有光电二极管D2和传感器切换用晶体管Q2。光电二极管D1、D2输出与感光的光量对应的电信号。传感器切换用晶体管Q1、Q2交替进行通断，以交替选择1个象素内的多个光电二极管D1、D2中的某一个。
各象素具有2个传感器12a和12b、同一象素内2个传感器12a和12b共用的电容器C3、对电容器C3积存的电荷进行A/D变换的检测电路91、进行对检测电路91的写入控制的晶体管Q3以及使缓存器13和电容器C3初始化的复位用晶体管Q4。电容器C3积存的电荷通过晶体管Q3和检测线供给检测电路91。检测电路91设置在阵列基片的边框部分。
与在硅基片上形成晶体管电路时不同，用低温多晶硅工艺在绝缘基片上形成LTPS元件(低温多晶硅元件)时，即使在同一芯片上，元件特性的Vth波动有时也会达1V左右。因此，不能原样采用硅基片上的A/D变换电路中惯用的差动电路(运算放大器)，需要具有Vth波动补偿装置的A/D变换电路。这是因为一般采用运算放大器时，由于元件的Vth波动等，某一传感器输出电位在某一检测电路被变换成高电平，而另一检测电路中变换成低电平等，不实用。
下面具体说明具有含Vth波动补偿装置的A/D变换电路的检测电路91，该补偿装置采用LTPS元件在显示装置的阵列基片上综合为一体形成时，特别有效。
图57是示出检测电路91的详细结构的电路图。图57的检测电路91在每一检测线具有晶体管Q7和Q8、由电容器C4和反相器IV3组成的放大器92、反相器IV4、锁存器93、晶体管Q9以及由晶体管Q10和寄存器电路94组成的移位寄存器95。锁存器93用例如图58(a)那样的电路组成，移位寄存器44用例如图58(b)那样的电路组成。
晶体管Q7的栅极都输入信号/PRC，晶体管Q3的栅极都输入信号PRC。首先，仅在规定的周期使信号PRC为高电平。由此，使晶体管Q8导通，放大器92的输入端初始化为电压VPRC。将电压VPRC设定为把传感器高电平输出引到检测线时的检测电压与传感器低电平输出引到检测线时的检测线电压之间的电压。放大器92内的反相器IV3的输入输出端子之间连接开关SW1，并且电压PRC为高电平时，该开关SW1导通，因而反相器IV3的输入端(＝电容器C4的下侧端)保持反相器工作门限值。这时，放大器92不进行放大。利用此动作消除Vth。即使Vth波动，反相器IV3的输入端也保持反相器IV3的工作门限值。
接着，使信号/PRC为高电平(信号PRC为低电平)时，输入检测线的电压，使该电压是否高于电压VPRC通过电容器元件C4原样变换成在反相器IV3的输入端是否高于工作门限值的电压，并且在反相器IV3的输入端可靠地输出反相放大输出信号。这样，即使Vth波动有1V左右时，也可靠地进行A/D变换。
然后，锁存器93按规定的定时进行锁存。其后，信号A为高电平，则在移位寄存器95的各寄存器电路94写入锁存器93的输出。其后，信号A为低电平，则晶体管Q10导通，各寄存器电路94被级联，与时钟CLK同步地将数据逐级往右侧移位后，从右端的寄存器电路94供给CPU。
根据情况，也可省略锁存器93。将检测线的输出直接完全导入移位寄存器95即可。但是，移位寄存器95必须按对CPU输出数据正好结束的定时将检测线的输出供给移位寄存器95。这是因为在对移位寄存器95存放数据结束前检测电路91的输出一直不变。
与此相反，如图57那样设置锁存器93时，其优点在于，不管移位寄存器95的动作，能在锁存器93连续保持A/D的输出，可快速进入下一检测动作。
图57中，用电容器C4和反相器IV3各1个组成放大器92，但也可分别级联多个电容器C4和反相器IV5，如图59所示。由此，能提高放大器92的增益控制精度。级联的数量越多，能使可A/D变换的检测线信号最小振幅越小，可提高A/D变换器的灵敏度。
A/D变换器不限于2值化，也可以作更高值的变化。
图56中，象素内不设置放大传感器的值的电路，但如用图4、图28、图53说明那样，设置若干放大电路也可。象素内的放大电路能缩短驱动信号线的时间。象素内的电路的信号线驱动时间不很长，因而即使按电位只能微小变化的定时截止信号线的驱动，也能在边框部高精度放大信号振幅，不容易发生数据传送差错。结果，具有能缩短读取多灰度图像的时间。
图57中，可在移位寄存器95的后级连接未示出的缓存器和电平变换电路。缓存器是在电源端子与接地端子之间串联PMOS-TFT和NMOS-TFT的反相器，进行波形整形。需要电平变换电路的原因如下。玻璃基片等绝缘基片上形成的多晶硅TFT与硅基片上形成的TFT相比，门限值电压Vth的绝对值大例如1～3V，因而作为电源电压，需要较大的电压(本实施形态中为5V)。另一方面，硅基片上形成的CPU通常用1～3V的电源电压进行工作。这种CPU输入5V振幅的信号时，给CPU侧的接口电路施加过剩的电压，因而能成为故障源。为了避免这点，希望设置电平变换电路，将信号振幅从5V变换到CPU中所接收的小振幅那样的电平。电平变换电路可用公知的电路结构。
图60是从移位寄存器95传送到CPU的图像数据的动作定时图。如图中所示，按照从第320检测线的数据D320到第1检测线的数据D1的顺序进行传送。也可使数据传送顺序与图60相反，按照从第1检测线的数据D1到第320检测线的数据D320的顺序传送。
图70是汇总以上所说明各实施形态特征部分的显示装置的框图。如图70所示，绝缘基片上各象素分别设置输出传感器的值的象素阵列部1、信号线驱动电路、扫描线驱动电路3、将传感器的值变换成数字数据的A/D变换电路106和将A/D变换电路106的输出变换成串行数据的串行输出电路101。象素阵列部1的各象素设置象素保持电路102和传感器输出电路107。绝缘基片外部的逻辑IC设置指示读取多种条件下的图像的图像读取指示部104以及根据多个2值图像合成多灰度图像的多灰度图像合成部105。
通过采用这种结构，传感器输出和TFT特性的面内波动较大时也能读取良好的多灰度图像，并且能读取短时间内的图像。此外，也可如图71那样，在象素内设置使传感器的值2值化的2值化输出电路103。这时，可在绝缘基片上设置放大来自象素的2值化信号的放大电路107，以代替A/D变换电路106。
图60的情况下，检测线的数量越多，需要将加移位寄存器65的输出频率提高的越多，定时方面的限制严格。具体而言，移位寄存器95与时钟同步地将各级的数据传送到下级，但时钟过快，就不能正常进行该传送。因此，图61做成可降低移位寄存器95的工作频率的电路结构。图61的电路示出的例子将移位寄存器95分成第1移位寄存器部95a和第2移位寄存器部95b等2个部分，同时设置选择第1和第2移位寄存器部95a和95b中某一方的输出的P/S变换电路96，并且将该电路96的输出供给CPU。
第1移位寄存器部95d对检测线D1～D160的图像数据进行移位，第2移位寄存器部95b对检测线D161～D320的图像数据进行移位。
图62是第1移位寄存器部95a、第2移位寄存器部95b和P/S变换电路96的输出定时图。如图中所示，第1移位寄存器部95a依次输出图像数据D160～D1，第2移位寄存器部95b依次输出图像数据D320～D161。P/S变换电路96交替选择并输出第1和第2移位寄存器部95a、95b的输出。
这样，图61的电路将移位寄存器95分成第1和第2移位寄存器部95a和95b，并且交替选择各移位寄存器部95a、95b的输出，传送到CPU，因而能使移位寄存器95的工作频率降低到图57的一半，可缓和定时方面的限制。
图63是图61的电路的变换例，示出的例子将阵列基片分成2n(n为1以上的整数)个块。图63中，各块设置锁存与寄存器95，还设置选择相邻2个块内的2个移位寄存器95的输出中的某一方的P/S变换电路96。锁存与移位寄存器95和图58(a)及图58(b)相同，用图64那样的电路组成。
在图63的情况下，各相邻的2个块对CPU供给表示传感器图像取入结果的串行信号。
这样，图65中，将阵列基片上2n个块各自输出的图像数据汇总到n条数据线，传送给CPU，因而与用1个移位寄存器95给CPU传送图像数据时相比能使移位寄存器95的工作频率降低到2n分之一。还可使n条数据线每2条为一组，进一步作串行变换，从而使对CPU的数据输出条数减少到n/2。这时，移位寄存器95的工作频率为2n分之一，同时能使对CPU传送数据用的数据线的输出条数减少到n/2。
如图61和图63那样，在P/S变换电路将多个移位寄存器95的输出变换成串行数据时，各移位寄存器95与象素配置对应地连续排列的数据交互混杂，成为不连续的数据。因此，CPU即使接收这种数据，也不能对其原样进行图像数据处理。
作为处理这种问题方法，可考虑在阵列基片侧增加输出数据线，配置多条位线，利用这些位线添加并输出图像数据的地址。
然而，造成从绝缘基片输出较多的信号，使耗电增加，引脚数也增加，IC的造价提高。即使在IC侧也对传送来的数据译码，当然必须将各个数据逐一存入存储器，使门电路数增多，造成耗电增大。
图65是在阵列基片外部进行排列变换时的移位寄存器95后级侧的框图。图65的电路具有将阵列基片中P/S变换电路96输出的串行信号变换成并行信号的S/P变换电路97、使组成并行信号的各信号相位一致的定时调整电路98以及使定时调整电路98的输出信号移位的移位寄存器99a和99b。
P/S变换电路96和S/P变换电路97都用2个模拟开关组成。具体而言，P/S变换电路96和S/P变换电路97分别用图66(a)和图66(b)那样的电路组成。任一电路中，都控制成1个模拟开关导通时，另一模拟开关阻断，从而能进行P/S变换或S/P变换。
定时调整电路98用例如D锁存器50组成。图65中排在左侧的D锁存器50与排在右侧的D锁存器50中级数不同，其原因在于使两者的数据相位一致。D锁存器50的内部结构如图67那样。
定时调整电路98的后级连接移位寄存器95，使CPU中的处理方便，但该移位寄存器95并非必须的组成部分，也可用行缓存器和存储器等。不管这样，由于图66(b)所示的S/P变换电路按正确的顺序输出数据，CPU中的数据处理方便。
图68是图65的电路的动作定时图。图68的信号OUT1是第1移位寄存器部95a的输出，信号OUT2是第2移位寄存器部95b的输出，信号OUT是P/S变换电路96的输出，信号IN1、IN2是S/P变换电路97的输出，信号IN1a、IN1b是定时调整电路98的输出。如图68所示，定时调整电路98的2个输出相互相位对齐。
这样，通过在阵列基片的外侧设置与P/S变换电路96对称的S/P变换电路97，即使不从阵列基片传送地址信息，也能进行图像数据的排列变换。
上述各实施形态说明了本发明的显示装置用于液晶显示装置的例子，但本发明也可用于EL(电致发光)显示装置和PDP(等离子显示板)等其他显示装置。