本发明涉及图像处理装置,特别涉及在群控电梯待客数检测中使用的、合适的图像处理装置的改进。 作为处理图像信息、检测物体的装置,以前提出各种方式。例如,作为以汽车为对象的交通流量计测系统,在电子通信学会论文杂志85/3卷,J68-D No.3第308页-第315页(文献1)中,刊载了通过各种常数(参数)确定的算法来处理从高速公路上方拍摄的图像的技术。
又,作为计测人口流动的装置,如电子通信学会论文IE80-73(1980.11)(文献2)中记载的那样,首先通过学习,决定图像处理算法中所用的各种阀值和加权,并用该结果进行图像处理,这种方法是众所周知的。
再者,如在特开平1-241667号公报(文献3)中所报道的那样,当把神经元(ニュ一ラル)网络用于声音识别技术时,对于学习方式,输入判断正解的声音图象,在消除与准备的正解之差的方向上,不断修正权重(耦合)系数。
上述现有技术都是预备许多对于处理结果的正确明确的输入图象,对其反复输入,并使其学习,以便能得到该正确的解答。从而,即使对已准备的输入图象能得到正解,但在得到输入信息的环境中,发生事先不能预测的变化时,就不能进行跟踪。
例如有一旦附加后述地背景变化等,就不能对此跟踪、并且产生错误输出的图像处理装置。
本发明的目的在于提供一种对实际运转状态中图像信息目标的环境变化也能跟踪,且得到正确处理输出的图像处理装置。
又,本发明的另一个目的是,在群控电梯中,正确把握利用电梯的乘客数、对呼叫进行高效率的群控。
本发明一方面,具有产生对以图像处理装置中的被处理图像为对象的图像处理结果的示教信息(教師情報)的装置、以及根据该示教信息来修正上述图像处理算法或该参数的装置。
本发明另一方面,具有利用图像处理装置的输出来控制被控对象的装置;产生对上述图像处理装置的输出的示教信息的装置;输入上述图像处理装置的输出和来自上述控制装置的信息,并根据这些异常关系产生起动上述示教信息产生装置的指令的装置;根据该示教信息,修正上述图像处理装置的处理算法或该算法中所用的参数的装置。
这里,所谓参数是算法中所用的常数、阈值、加权系数等的总称。
图像处理装置处理输入的图像信息,输出给需要该处理结果的控制装置。
作为示教信息产生装置,可采用这样的检测手段,它输入与上述图像处理装置处理的图像信息相同的图像信息并作处理、输入更高精度的图像处理装置或图像以外的信息,通过其它完全不同的原理得到同样的输出。如果必要,比较上述图像处理装置的输出与上述示教信息产生装置的输出。例如,该比较结果不一致时,根据上述示教信息动作,以便修正上述图像处理装置的算法或在该算法中使用的各种阀值、加权系数等的参数。
一般,在要求简易性和高速处理性的图像处理装置中,容易因图像对象物中的环境变化、例如,照明的变化和外来光的有无、背景的变化、人数检测时随季节的服装变化及混杂程度等产生误差。与此相对,在进行难度高的处理,并进行不要求高速性的高精度的图像处理时,即使存在上述的环境变化,误差也难以产生。
从而,若把前者用作联机中采用的图像处理装置,把后者用作上述示教信息产生装置,就能使图像处理装置的处理算法在联机中得到充分使用,使更正确的图像处理成为可能。
本发明的其它目的、构成及作用,通过下述的实施例将会清楚。
图1是表示根据本发明的图像处理装置的基本概念的框图,图2是其一部分的详细框图,图3是把根据本发明的图像处理装置应用于群控电梯中加以表示的整体构成框图,图4是其主要部分的详细构成框图,图5是概述到电梯门厅的等候者检测器的配置状况的侧面断面图,图6是表示摄像图面的一个例子的图,图7是从摄像图面求得乘客人数的图像处理次序说明图,图8是图像综合(统括)装置中的一个实施例的处理流程图,图9是说明修正图像处理算法上的参数的程序的一个实施例的图,图10是图像处理算法上的参数修正程序的其它实施例的说明图,图11是其作用说明图,图12是说明另外参数修正程序的实施例的图,图13是采用载荷检测器、产生对于电梯门厅等候者人数的示教信息的装置的动作说明图,图14是图13所示产生装置的处理流程图,图15是把本发明应用于把采用神经元网络的图像处理装置作为群控电梯的等候者检测装置场合中所示的主要部分构成框图,图16是根据神经元网络的图像处理的说明图,图17是表示图像处理装置331的更详细的一个实施例的框图,图18是说明其动作的流程图,图19是表示另外实施例的框图,图20及21是说明其动作的流程图。
下面,对照附图叙述本发明的实施例。
首先,根据图1说明本发明的基本概念构成。
用图像处理装置121-12n各自处理用多个摄像装置111-11n摄得的图象信息,通过传输线13把处理结果得到的信息a1-an输入到控制装置14。该控制装置14例如是后述的电梯群控装置。
又,把上述信息a1-an及表示控制装置14的运转状况的信息14a输入给示教信息产生部15的不明信息(不審情報)检测装置151。
上述不明信息检测装置151的输出151a及控制装置14的输出信息14a,输入到示教信息产生部15的示教信息产生装置152,该示教信息产生装置152的输出信息152a输入到上述图像处理装置121-12n。
另一方面,上述信息a1-an和照度检测装置16的输出16a及时间输出装置17的输出17a输入到状况判断装置18,该状况判断装置18的输出18a输入到上述图像处理装置121-12n。
下面,以图像处理装置121为例说明动作过程。
由摄像装置111摄制的图像信息b1输入到图像处理装置121的图像处理装置1211加以处理。该处理采用贮存在系数表1212中的数据,变换成与被检测物体的数量和形状等的特征有关的信息或施行过二值化等处理的处理信息。采用该处理信息a1,控制装置14对被控对象进行最佳控制。
另一方面,控制装置14输出表示现在时间点上的控制对象的状况的信息14a。上述图像处理装置1211的处理信息a1向不明信息检测装置151输入,与表示上述控制对象状态的信息14a比较,进行信息监视。
即,不明信息检测装置151对控制对象的状况,判断图像处理装置1211的处理结果是否一致。该结果不一致时,不明信息检测装置151向示教信息产生装置152输出信息151a,该信息含有图像处理装置1211的处理信息a1、表示该信息a1是不明的信号、以及成为该信息a1源的图像信息b1。
示教信息产生装置152详细分析包含在上述信息151a中的不明信号a1及图像信息b1,得到与用上述摄像装置111所摄得的图像信息b1相对应的正确的处理信息(以下称为示教信息)152a。该示教信息152a输出到图像处理装置121的学习装置1213。
学习装置1213应用上述示教信息152a,求出在图像处理装置121中使用的图像处理算法或在该算法中使用的各种阈值和权重系数正确的值,并修正贮存这些系数的系数表1212的内容。
又,示教信息产生装置152,对于不明信息检测装置151的输出信息151a,根据不同情况,也能由表示控制装置14的控制状况的信息14a得到示教信息152a(将在后面叙述)。
状况判断装置18,根据图像处理装置1211的输出信息a1、照度检测装置16的输出信息16a或时间输出装置17的输出信息17a,判断摄像装置111对准的摄像领域的环境,对系数表1212,输出系数选择信息18a。参照图2说明该状况判断装置18的作用。
图2是以图1的图像处理装置121为中心的主要部件详细构成图。在该图像处理装置121中,设置多个系数表191,192……19n,根据状况判断装置18的输出信息18a,从上述系数表中选择最适当的系数。
这里,状况判断装置18,由图像处理装置1211的输出信息a1,判断粗略信息,例如占有被检测物体图面的比例是大还是小;或根据照度检测装置16的输出信息16a,判断照明(也包括外来光)是亮还是暗;或根据时间输出装置17的输出信息17a,判断是晚上还是白天及季节是夏天还是冬天等,选择与这些环境信息相符合的系数表的系数选择信息18a加以输出。
又,学习装置1213,根据上述示教信息152a,对于向正在使用中的系数表贮存的内容或共同的系数,修正全部系数表的存贮内容。
以下,按照图3,对应用于群控电梯的一个实施例说明根据本发明的图像处理装置。
在本实施例中,对于综合控制4台电梯的电梯群控系统作说明。
群控装置20、控制各电梯的电梯控制装置211-214、显示器控制装置221-224以及图像综合装置23是通过多点通信线路方式与串行传送线24相连接的。在各电梯控制装置211-214的一个串行传输线251-254上,连接着设置在门厅的呼叫按钮261-264等的标准输入输出装置。另一个串行传输线271-274上,各自连接轿厢281-284内的操作盘291-294。
又,显示控制装置221-224所连接的传输线301-304上,连接设置在大楼n楼层和m楼层的LED显示器311-318。
同样,图像综合装置23所连接的串行传输线321-324上,连接设置在n楼层和m楼层的图像处理装置331-338。在各图像处理装置331-338上,连接各自的摄像装置341-348。又,在其它的串行传输通路325上,连接设置在各轿厢内的图像处理装置3391-3394。在各图像处理装置3391-3394上连接各自摄像装置3491-3494。351-354是设置在各轿厢内的载荷检测装置。
对上述构成的动作说明如下:
群控装置20通过各电梯控制装置211-214,接收设置在门厅上的呼叫按钮261-264及轿厢内操作盘291-294的信息。又,群控装置20,通过图像综合装置23,接收用设置在n楼层及m楼层的图像处理装置331-338检测的等候者人数及用设置在轿厢内的图象处理装置3391-3394检测的轿厢内乘客数,并根据这些信息进行电梯的运行控制。显示控制装置221-224把引导信息输出到n楼层及m楼层的显示器331-318上,试图提高对等候者的服务。
上述图像处理装置331-338及3391-3394,根据处理速度、传送速度及软件简便情况,进行简要处理。
电梯控制装置211-214进行根据上述群控装置20指令的电梯运转控制和对设置在各楼层及各轿厢内的输入输出设备的控制。
图4是以图3的图像综合装置23为中心的主要部件的详细构成图。
图像处理装置331由图像输入部3311、图像处理部3312、传送处理部3313组成。图像输入部3311把摄像装置341输出的图像信息(模拟量)变换成数字量。图像处理部3312,根据该数字量,检测滞留在门厅内的等候者人数。即,由在没有人的时间点上取入的背景图像与以后在任意时间点上取入的图像信息的关系,进行求该图像信息内存在的人数的处理。这个处理由于用于联机控制,要求高速性,因而称为粗处理。
传送处理部3313,把如上述那样求得的等候者的信息,根据预定的格式,发送到图像综合装置23。该图像综合装置23是与图1的示教信息产生部15相对应的。该图像综合装置,通过传送处理部231-235,从各图像处理装置331-338及3391-3394接收人数信息。图像处理部236整理接收的信息,并通过传送处理部237,发送到群控装置20。由此,群控装置20,通过n楼层和m楼层门厅的等候者人数和加上轿厢内的乘客数的轿厢的分配控制等,并进行适当的群控。一方面,有不明信息存在的场合,从相应的图像处理装置内的存贮器(未图示)取来用于处理的图像信息,通过图像处理部236进行详细处理。把结果得到的正确的信息即示教信息传送到群控装置20及输出上述不明信息的图像处理装置。又,关于详细的处理算法,可以采用例如前面提到的文献2的算法。
输出上述不明信息的图像处理装置,通过该正确的信息(示教信息),修正用于处理的参数即各种阀值与权重(耦合)系数,以便减小与检测结果的偏差,提高检测精度。这在后面详细叙述。
图5表示本实施例的图像处理装置的设置状况。
在n楼层的电梯门厅的天花板上设置摄像装置341,把本图像处理装置331设置在轿厢281移动的升降通路上,用图像信号用电缆连接两者。又,上述图像处理装置331连接到敷设在升降通路内的传送线321上,通过该传送线传送信息到图像综合装置。
在这样的设置状况中,对检测例如门厅的等候者361-363的检测方法进行说明。
图6是用摄像装置341摄得的图像,画面37在水平方向配置256个单位象素371,在垂直方向配置240个单位象素。
又,象素的数目因摄像装置不同而各异,这里采用图像输入部3311的分辨率即256×240作说明。又,图中,假定背景灰色例如表示为128的二进制数,头部黑色例如以零表示,着衣白色例如表示为255的二进制数。
图7表示图像处理装置331的处理。
图像处理装置331采用起动时没有人的时间点上取入的背景图像g(x,y)和此后在任意时间点上取入的图像信息f(x,y),首先,求出用下式表示的差分图像h(x,y)。
h(x,y)=|f(x,y)-g(x,y)|
结果,背景部分变成黑色,物体变成灰色。然后,把该图像与适当的阈值B比较,得到用下式表示的二值图像i(x,y)。结果,背景部分变成黑色,物体变成白色。
h(x,y)≥B的区域
i(x,y)=255 ……白色
h(x,y)<B的区域
i(x,y)=0 ……黑色
这里,x是0-255,y是0-239。
通过上述二值图像,由白色的象素数求物体占有面积(象素数)Sk,如下式所示,用平均1个人的象素数S去除,求出人数Nm。
例如,如图7所示,假定与等候者361相对应的面积为S1,等候者362为S2,等候者363为S3,则上式的n为3。
另外,对轿厢281-284中也进行同样处理,求出乘客人数。
以上所述图像综合装置23的处理流程如图8所示。
亦即,在步骤400,从各个图像处理装置331-3312收集等候者及乘客信息,整理之后存入图4所示传送处理部237的发送存储器(未示出)中。通过步骤401,将上述信息与当前的电梯运行状况加以对比,判定是否存在不明信息。根据其结果,有不明信息时,首先,通过步骤402,将表示相应的图像处理装置的信息作为不明的信息,置于上述传送处理部237的发送存储器中。接着,用步骤403,从相应的图像处理装置取得图像信息,用步骤404,对该图像信息作详细处理,正确地求得等候者或乘客人数。
在步骤405,将在上述步骤400收集到的对应图像处理装置的信息与从步骤404的结果获得的示教信息相比较。如果不一致的话,在步骤406将步骤404的结果存储在传送处理部237及231-235的对应发送存储器(未示出)中。藉此,在向群控装置20传送正确的信息的同时,促使对相应的图像处理装置的阈值等参数进行修正。
在此,利用图9对用于图像处理装置331的图像处理算法中的阈值的修正过程的一个例子进行说明。
一般,图像处理部3312用图像输入部3311将从摄像装置341输入的图像信息变换成数字量,进行存储到图像信息存储装置41中的处理。运算装置43从该图像信息f(x,y)和预先存储在背景图像存储装置42中的背景图像信息g(x,y)求出差分图像h(x,y),比较装置44用适当的二值化电平B将该结果二值化,得到二值图像i(x,y)。在运算装置45中从该二值图像i(x,y)求出物体所占面积Sk,在运算装置46中用一个人所对应的面积S来除该面积,求出等候者人数Nm。因此,前述二值化电平B与单人所对应的面积S被认为是本实施中的调整要素(参数)。
进而,如果对应于等候者人数检出结果,判断图像综合装置23出错,而开始发送示教信息的话,图像处理部3312就利用等候者人数检出的空余时间进行学习。亦即,由修正量运算部47内的偏差检出装置471求出等候者人数Nm与示教信息Ns的偏差值。当上述偏差值△n为正(负)时,由修正量运算装置472朝增大(减小)二值化电平B或增大(减小)单人对应面积S的方向计算修正量。偏差△n由(1)式表示:
△n=Nm-Ns(1)
将运算装置472根据该偏差△n求得的调整值△B或△S,从各个设定装置54或55所设定的初值B0或S0中减去(或加上)。该值分别用存储装置48及49加以存储,一直保持到下一次示教信息Ns输入为止。从上述偏差△n来修正阈值B及S两者的方法,在两者的修正量分配上是复杂的。因此,对简单地修正2个阈值的另一过程进行说明。
首先,固定单人对应面积S,调整二值化电平B。亦即,修正量运算装置472利用(2)式求出使等候者人数Nm与示教信息Ns一致所必需的Sko:
Sko=Ns·S0(2)
然后,在改变调整值△B的同时反复进行二值化处理,直到二值化后的白色面积Sk接近Sk0。结果,当求得最接近Sk0的Sk值后,接着固定二值化电平B,调整单人对应面积S。亦即,运算装置472由(3)式求出使等候者人数Nm与示教信息Ns一致所必需的单人对应面积S,再由(4)式求出调整值△S。这样进行调整。
S= (SK)/(NA) (3)
△S=S-S0(4)
本实施例先调整二值化电平,但是,先调整单人对应面积也可以,只调整二值化电平或者单人对应面积的其中一项也可以。
利用本实施例,能够将二值化电平和单人对应面积调整到最佳值,因此,能够将本系统的输出提高到接近示教信息Ns的检出精度。
根据图10对修正阈值的另一实施例进行说明。
在图9所示实施例中,因为是在数据异常的一个时间点上所作的修正,并且没有考虑到多个修正量所对应的分配问题,所以,有可能做不到最佳的修正。
本实施例在前述实施例上增加设置了存储等候者人数Nm和与此对应的示教信息Ns的装置473,通过在掌握图像处理装置331的输入出特性后进行修正,实现修正的最佳化。
首先,存储装置473随时存储从图像处理部3312输出的等候者信息Nm,和在该等候者信息Nm被判定为异常时输入的示教信息Ns。
接着,修正装置472学习前述存储信息对正解(示教信息)具有怎样的差别。藉此,能够掌握图像处理部3312即自身的输入输出特性。
图11是这样求得的输入输出特性的一个特性图。例如,假定摄像装置的摄像角度为120°,设置位置为楼板之上3m处,则最多能检出25人(包括头部)。
因此,在理想情况下希望与示教信息对应的等候者信息从0到25人如图中实线50所示那样成为直线。
但是,实际上,即使系数等已经最佳化,随着等候者人数的增加,画面上也会产生重叠,因此,如图中点划线51所示那样产生了误差。
另外,根据现场的背景颜色或者照明情况,容易得到鲜明的差分图像的情况如图中虚线52所示,与点划线51相比,输出更多目标,而差分图像不鲜明的情况下,由图中虚线53所示,输出少。
因而,在利用示教信息学习了现场的图像处理装置的输入出特性之后,由此求出拐点即发生重叠时的人数。
根据在上述处理结束之后输入的示教信息进行修正。亦即,首先,当示教信息Ns是在拐点以下的人数时,采用和前述实施例相同的方法进行修正,求出最佳的二值化电平B和单人对应面积S1。因而,修正后的输入出特性接近点划线51。
接着,当示教信息Ns是在拐点以上的人数时,求出单人对应面积的最佳值S2。因而能得到接近实线50的输入出特性。
进行上述处理的结果是,得到了1个二值化电平B和2个单人对应面积S1、S2。藉此,首先用二值化电平B和单人对应面积S1进行处理,如果结果是拐点之上的人数,则将单人对应面积置换为S2,再进行处理。
根据本实施例,能够用最少的次数进行最佳的修正,不会有检出结果不稳定(反复进行修正)的情况。
图12示出另一修正过程的实施例。
本实施例是在图9及图10所示实施例中只用存储装置473构成修正量运算部47。该存储装置473包括可卸式外部存储体,例如IC插件474。
采用这样的结构,例如,人们可参照非易失性存储器(IC插件)474的内容,在其它地方根据图10所示要领进行修正。将结果存入前述非易失性存储器中其它区域内,再装到装置中。
结果,修正后的内容与图中△B及△S相当。
利用本实施例,由人进行费时的修正,因而能进行更正确的修正,同时,能够简化装置。
根据图13-14说明基于本发明的示教信息产生装置的其它实施例。在本实施例中,利用轿厢内载重检出器351-354的输出修正图像处理装置331-3312的算法和参数等。
在电梯轿厢的地板下,设置有用于检出乘客重量的差动变压器式载重检出器,电梯控制装置利用其输出进行满员时的控制等。该载重检出器的人数换算输出精度据说为±0.1人,足以用作为本发明中的示教信息产生装置。
此外,也可以通过轿厢的载重检出器351-354的输出调整设置于门厅内的图像处理装置,了解门厅内曾有过多少人,换句话说,有多少人进入轿厢。
例如,设想如图5所示,乘客为2人,n层门厅内等候者为3人,在n层有1人出电梯,3人进入电梯的情况。设于轿厢281中的载重检出器351的输出如图13所示那样变化,从2人状态a至1人出电梯b(或3人进电梯c),至3人进电梯d(或1人出电梯e),至4人状态f(通常,出电梯优先)。由此图可知,通过抽样表示出正的斜率的期间d,能够得知进入的人数,亦即轿厢到达为止门厅内的等候者人数。这样,如果注意从电梯到达n层门厅之后到启动以前的期间T,根据轿厢内的载重检出,能够准确地检出这以前在n层门厅等候的人数。但是,因为该种检出的时间较慢,所以不能直接用于群控。作为示教信息产生装置的话是有用的。
根据图14说明用于把这样求得的进入人数作为示教信息的群控装置20的处理流程。
从步骤600,确认电梯到达n层门厅的时候起,由步骤601开始检出乘客人数,继续步骤602,直到在步骤602中确认电梯已关门为止。其后,当在步骤602确认关门后,在步骤603,将如前所述那样(图13)求得的进入人数与设置在门厅内的图像处理装置331的检出结果作比较。如果结果是一致的,则结束处理,不输出示教信息。但是,当比较结果为不一致时,通过步骤604从不再发生门厅呼叫确认门厅内没有人余留,通过步骤605将上述进入人数作为示教信息输出到综合装置23。
根据本实施例,利用轿厢内设有的载重检出器作为示教信息输出装置,因此,不必重新设置前述示教信息输出装置,能够得到高精度、高可靠性的示教信息。
另外,电梯内设置的图像处理装置3391-3394在轿厢门关闭状态下检出轿厢内乘客,因为环境通常是不变的,所以精度高。因此,也能够代替前述载重检出器作为示教信息产生装置。
根据图15对有关电梯门厅内等候者检出的另一实施例进行说明。本实施例用神经元网络构成图像处理部3312。
从图像输入部3311输出的多个输入数据61a-61l输入到由神经元网络构成的图像处理部3312中,藉此检出等候者人数。下面详细地说明。
神经元网络由输入层、中间层及输出层等3层构成。此外,输入层由n11-n112等12个神经元构成,中间层由n21-n26等6个神经元构成,输出层由n31-n32等2个神经元构成。此外,输入层的各个神经元的输出全部连接中间层的神经元,中间层的各个神经元的输出全部连接输出层的神经元。这时,向中间层和输出层的各个神经元输入由输入层和中间层的各个神经元的输出与图示的权重(藕合)系数K11-K86(-∞~+∞)的积求出的值。例如,中间层的神经元n21处输入的值Un21可由(5)式得到。
这儿,Vn11是输入层神经元n11-n112的输出(0~1)。
将该值代入(6)式,把作为结果得到的值0~1作为该神经元n21的输出Vn21分别输入给输出层的各神经元n31-n32。在输出层,与上述神经元n21一样,求出神经元n31和n32的输出值。
Vn21= 1/(1+e-va12) (6)
从这些输出Vn31和Vn32,利用(7)式计算并输出等候者人数Nm。
Nm=100·Vn31+10·Vn32(7)
在例如Vn31=0.1,Vn32=0.2的情况下,结果是Nm=10+2=12人。亦即,在这一例子情况下,神经元n31表示十位数,神经元n32表示个位数。
其结果由传送处理部3313传送给图像综合装置23和其内部的示教信息产生装置15(图4的图像处理部236)。另外,也通过图像综合装置23传送给群控装置20。
此外,输入图像处理部3312的输入数据61a-61l也可以是从图像中取样得到的各种特征量,也可以直接采用与图像的象素有关的数据。例如,如图16所示,将画面37分割成12个块701-712,利用(8)式将在各个块内求得的物体面积归一化并采用这一归一化的值,这也是一种方法。
V= (S1)/(N·M/12) (8)
这儿,Va:输入数据61a的值
N:水平象素数(256)
M:垂直象素数(240)
S1:块701内的物体面积(象素数)
本实施例中,在根据示教信息进行权重(耦合)系数K11-K86的调整时,采用与一般已知神经元网络相同的进行学习的方法就可以了。亦即,将示教信息反向输入给输出层的神经元n31-n32,采用一边把它从中间层至输入层反向传送,一边调整各个系数的反向传输方法。该方法因为是前述文献3中已知的方法,所以在这儿省略其说明。
从定时器56定期地将触发信号加在图像综合装置23内的示教信息产生装置15上,通过定时器中断进行周期性学习。
根据本实施例,图像处理部由神经元网络构成,藉此,能够使等候者检出处理高速化的同时,利用反向传播方法,可以自动地求出适当的权重系数。尤其是,如果定期地进行基于示教信息的学习,能够预料到图形识别上的进步,并能获得跟踪周围环境变化的图像处理装置。
在此,根据图17、18说明前述背景图像g(x,y)的形成方法的一个例子。
图17中,前述图像处理部3312由存储器41、42、81、82和背景图像构成装置80及等候者检出装置83构成,背景图像g(x,y)由背景图像形成装置80形成。
下面,根据图18所示流程说明背景图像的形成处理。
本发明中,背景图像形成装置80根据连续的5个画面的处理结果形成背景图像。为此,设有分别对应于5个画面的标志表BGT+0-+4。
(1)背景图像形成装置80在开始形成背景图像后,首先设定5个画面所分别对应的标志表BGT+0-+4的初始值(步骤500)。
(2)接着,取入最初的画面,存入背景图像用存储器42中,同时,把该图像作为临时背景图像存入工作用存储器81中(步骤501)。
(3)接下去,取入下一个画面,作为原始图像存入原始图像用存储器41中,与前述等候者检出处理相同地求出临时背景图像与原始图像间的差别,进行二值化(步骤502-504)。
(4)从步骤504的结果求出白色面积S0,判断该值是否在预定的阈值SH之上(步骤505、506)。
(5)如果步骤506的判定结果为真,则认为最初的图像与接下去的图像有一定值以上的差别,将前述标志表BGT+n,即该情况下的标志表BGT+0置为“1”,将存储器41中存储的原始图像移到工作用存储器82中,作为临时背景(步骤507、508)。
(6)另一方面,如果步骤506的判定结果是伪,则认为最初的图像与接下去的图像基本没有差别,将标志表BGT+n,即该情形下的标志表BGT+0置为“0”(步骤509)。
(7)下面,反复进行前述步骤502-509的处理,直到n=5,亦即判定5个画面部分的处理结束了(步骤510)。
(8)接着,求出标志表BGT+0-+4的总和,判定该总和S1是否不等于0,亦即,是否S1≠0(步骤511、512)。
(9)在步骤512的判定结果是伪时,亦即,S1=0时,因为连续的5个画面是大致相同的,将当前作为临时背景的背景图像作为该背景,结束处理。这时,因为图像没有变化,如图18的虚线所示,可以不进行背景的变换而结束处理(步骤515)。
(10)步骤512的判定结果是真的情况下,亦即,S1≠0的情况下,判断是否S1=1,如结果为真,亦即S1=1,再判断是否标志表BGT+0=1。如结果为真,则意味着发生变化的画面只是进行最初的处理后的原始图像,后面4个画面是稳定的,因此,将工作用存储器82的临时背景移入背景图像用存储器42中,作为背景,结束背景图像形成处理(步骤513-515)。
(11)另外,步骤513的判定结果是伪的时候,亦即,认为画面中有走动的人的时候,以及当步骤514的判定结果是伪,亦即画面的变化是在5个画面中间发生,可以预料第6个画面之后也会发生变化的时候,回到步骤500,反复前面的处理。
前述背景图像形成方法根据顺序取入的画面经过5个画面没有变化这一点,判定在该图像内没有移动的人,亦即没有电梯的等候者,把那时的图像作为背景图像,用作比较的画面数量不必是5幅,可以任意确定。
另外,图像处理装置331通过在电梯信息的基础上进行前述背景图像形成处理,能够确切地形成没有等候者的状态下的背景图像g(x,y)。这时,图像处理部3312如图19所示那样构成,它是在根据图17说明的实施例中设置用于存储从图像综合装置23传来的信息的信息表85,和根据该信息判断背景图像形成时间的判断手段84而形成的。
因此,下面的说明针对与图17实施例的不同点进行。
图19所示图像处理装置331定期从图像综合装置23接收轿厢位置等电梯信息,将这些信息存在信息表中。判断装置84根据前述表85的内容判断门厅内等候者不在的时间,不在的情况下输出“1”,指示背景图像形成装置80可以进行背景图像的形成。
背景图像形成装置80根据该指示形成背景图像,形成处理与前述图18的相同。
下面,根据图20所示流程说明判断装置84的动作。图20中也示出了存储从图像综合装置送来的信息的信息表85的内容。该信息表85中,表+0中存储轿厢位置信息,表+1中存储轿厢门开关信息,表+2和+3中存储门厅呼叫的上升和下降信息。
(1)判断装置84首先参照信息表85的内容,判断轿厢是否正停在有摄像机341的楼层上(步骤520)。
(2)步骤520的判断为真时,亦即,轿厢正停在有摄像机341的楼层上的时候,分别判定轿厢门关否、有无门厅呼叫(步骤521、522)。
(3)步骤521、522的判定两方都为真时,就作出“电梯已载上门厅内所有等候者,正处于出发之前,门厅内没有人”的判断,在经过预定时间后,将同一图中所示背景形成标志F置为“1”(步骤523、524)。
(4)另一方面,步骤521和522中任一方的判定结果都是伪的时候,作出“门厅内的等候者正在进入电梯,或者不能全部进入”的判断,可以判定门厅内有人,因此,将上述背景图像形成标志F设为“0”。该背景图像形成标志F成为判断装置84的输出(步骤525)。
(5)在前述步骤520的判定结果是伪,亦即,轿厢未停在有摄像机34的楼层的情况下,接着分别判定轿厢位置是否与该楼层相隔2层以上、门厅呼叫是否无(步骤526、527)。
(6)步骤526、527的判定两者都为真时,可以作出“门厅内没有人,且电梯暂时不到该楼层”的判断,将背景图像形成标志F置为“1”(步骤524)。
(7)另外,在步骤526或527的判定结果是伪的情况下,作出“电梯处于与该楼层相差一层的位置,不久到达该楼层,或者,门厅内有人”的判断,将上述背景图像形成标志F置为“0”(步骤525)。
在上述判断装置84的处理过程中,在步骤526、527的前或后,可以设置判定轿厢是否正在离开该楼层的步骤,这样做的话,就能更细致地进行是否可以作出背景图像形成指示的判断。
通过上述处理,判断装置84输出的指示信号(背景图像形成标志F的内容)输入背景图像形成装置80,该形成装置80在上述输出为“1”时进行背景形成处理。
接着,根据图21所示的流程,说明图19中所示图像处理部3312的一系列处理。
(1)首先,进行根据图20所说明的判断处理,对结果设定的背景图像形成标志F的内容作出F是否为1的判定,在判断处理中判定是否已作出门厅内没有等候者的判断(步骤530、531)。
(2)在步骤531判定F=1时,作出门厅内无等候者的判断,背景图像形成处理装置80进行利用图18说明的背景图像形成处理,在存储器41中存储成为基准的背景图像(步骤532)。
(3)此后,等候者检出装置83返回执行用图7说明的图像处理程序(步骤533)。
(4)另一方面,如果在步骤531判定F=1,则返回执行步骤530的处理,检出F=1的时间。
利用本发明这样的实施例,能够检出不存在等候者的时间,确切地形成背景图像。
此外,通过在等候者检出处理的前后进行上述判断处理和背景图像形成处理,即使背景由于照明情况变动而变化,也能够更新背景图像。
根据上述背景图像形成方法,图像处理装置在任意时候都能够形成没有等候者状态下的背景图像,利用此图像能进行正确的等候者检出。
本发明不仅用于检出上述电梯门厅处等候者的系统,它也可以广泛地用作为识别汽车牌照号码的系统,或者检出展览会场等的混乱情况的系统等等。
根据本发明,图像处理以非预定图形的实际被处理图像作为对象,通过采用作为图像处理结果的示教信息产生装置,能够根据图像处理对象的状况修正图像处理中必需的处理程序或者该程序中使用的参数(例如,各种阈值或权重系数)。因此,还能够通过联机提高置于实际工作状态下的图像处理系统的检出精度。