具体实施方式
图1显示了应用本发明的优化设备的配置例。在执行与输入信号有关的
预定处理(信号处理)之后,优化设备输出作为处理结果获得的信号,作为
输出信号。用户检查(定性估计)输出信号,并且在输出信号与个人偏爱不
匹配的情况下,向优化设备输入与用户的偏爱相对应的操作信号。优化设备
根据操作信号改变处理的内容和处理的结构,使输入信号再次经受预定处理,
并且输出输出信号。优化设备在与用户操作输入的操作信号相对应,重复改
变处理的内容和处理的结构的同时,使输入信号经受最佳处理(最适合用户
的处理),从而输出与用户的偏爱更接近的输出信号。
图2显示了如图1所示的优化设备的第1详细配置例。
对于这种优化设备1,无需用户知道,通过学习用户的操作,就可以进
行最适合用户的处理。也就是说,对于优化设备,监视与用户的操作相对应
而供应的操作信号,并且传递有关这些操作信号是否可以用于学习的判断。
在操作信号是可以用于学习的学习操作信号的情况下,根据学习操作信号,
学习作为用于纠正输入信号的标准的纠正标准。另一方面,根据通过学习获
得的纠正标准,纠正输入信号,并且输出纠正之后的信号,作为输出信号。
优化设备1被配置成包括由纠正单元21和学习单元22组成的处理单元
11,除了经受处理的输入信号之外,还把与用户操作相对应的操作信号供应
给它们。
操作信号是从操作单元2供应的。也就是说,操作单元2被配置成包括
例如旋钮或滑钮、切换器、点击装置等,并且把与用户操作相对应的操作信
号供应给构成优化设备1的处理单元11。
除了例如用作纠正输入信号的纠正标准的纠正参数之外,还把例如数字
输入信号从学习单元22供应到构成优化设备1的纠正单元21。纠正单元21
根据纠正参数纠正输入信号(信号处理),并且输出纠正之后的信号,作为输
出信号。
除了将操作信号从操作单元2供应到学习单元22之外,如有必要,还把
输入信号或输出信号供应给它。学习单元22监视操作信号,并且判断这些操
作信号是否可以用于学习。在操作信号是可以用于学习的学习操作信号的情
况下,如有必要,学习单元22根据学习操作信号,利用输入信号或输出信号,
学习用于纠正输入信号的纠正参数,并且把这些纠正参数供应给纠正单元21。
请注意,学习单元22内置了学习数据存储器53和学习信息存储器55,
其中,学习数据存储器53存储用于学习的学习数据,和学习信息存储器55
存储通过学习获得的如后所述的学习信息。
接着,参照如图3所示的流程图,描述如图2所示的优化设备1进行的
处理(优化处理)。
首先,在步骤S1中,学习单元22判断是否已经从操作单元2接收到学
习操作信号。这里,在操作操作单元2的情况下,通常用户首先进行一般操
作,然后在确认根据操作输出的输出信号的同时进行详细操作,然后在获得
用户最后认为是最佳的输出信号的那一时刻,停止操作。在获得用户认为是
最佳的输出信号的那一时刻与操作单元2的位置相对应的操作信号是学习操
作信号,因此,在对操作单元2操作了预定时间量或更长,然后停止操作的
情况下,学习单元22把停止那一时刻的操作信号判断为学习操作信号。
在步骤S1中,在做出没有接收到学习操作信号的判断的情况下,即,在
用户还没有操作操作单元2,或已经操作了操作单元2,但仍然在寻找例如最
佳位置的情况下,跳过步骤S2到步骤S10,流程转到步骤S11,纠正单元21
根据已经设置的纠正参数纠正输入信号,输出输出信号作为纠正结果,然后
流程返回到步骤S1。
此外,在步骤S1中,在做出已经接收到学习操作信号的判断的情况下,
流程转到步骤S2,学习单元22根据学习操作信号,获取用于学习的学习数
据,然后流程转到步骤S3。在步骤S3中,学习数据存储器53存储在步骤S2
中获得的最新学习数据。
这里,学习数据存储器53具有能够存储数组学习数据的存储容量。此外,
学习数据存储器53被安排成在达到这个存储容量的情况下,用下一个学习数
据覆盖最早存储值。因此,在学习数据存储器53中存有最新存储的数组学习
数据。
在步骤S3中把学习数据存储在学习数据存储器53中之后,流程转到步
骤S4,在步骤S4中,学习单元22利用存储在学习数据存储器53中的最新
学习数据和存储在学习信息存储器55中的学习信息进行学习,获取纠正参
数,然后转到步骤S5。在步骤S5中,学习单元22用在步骤S4中通过学习
而中途(part way)获得的新学习信息更新学习信息存储器55的存储内容,
然后流程转到步骤S6。
在步骤S6中,学习单元22获取代表在步骤S4中获取的纠正参数的适合
性的如上所述的适合度,流程转到步骤S7,并且根据适合度,对在步骤S4
中获取的纠正参数是否适合做出判断。
在步骤S7做出纠正参数适合的判断的情况下,跳过步骤S8和S9,然后
流程转到步骤S10,并且学习单元22向纠正单元21输出判断为适合的纠正
参数,然后流程转到步骤S11。因此,在这种情况下,在步骤S4中通过学习
新获得纠正参数之后,在纠正单元21上进行随后的输入信号纠正。
另一方面,在步骤S7中做出纠正参数不适合的判断的情况下,流程转到
步骤S8,学习单元22只利用存储在学习数据存储器53中的学习数据的最新
学习数据进行学习,获取纠正参数,然后转到步骤S9。在步骤S9中,学习
单元22用在步骤S8中通过学习中途获得的新学习信息更新学习信息存储器
55的存储内容,然后流程转到步骤S10。在这种情况下,在步骤S10中,学
习单元22向纠正单元21输出在步骤S8中只从最新学习数据获得的纠正参
数,然后流程转到步骤S11。因此,在这种情况下,在步骤S8中通过学习新
获得纠正参数之后,在纠正单元21上进行随后的输入信号纠正。
接着,图4显示了如图2所示的处理单元11应用于从例如图像信号和音
频信号中消除噪声的NR电路的情况的详细配置例。
像从学习单元22的如后所述的选择单元41供应的纠正参数那样,权重
存储器31存储权重(系数)W(例如,大于等于0但小于等于1的值)。权
重存储器32存储从计算单元33供应的权重1-W。
计算单元33供应相减值1-W作为权重,在相减值1-W中,从供应给
权重存储器32的1.0中减去从学习单元22的选择单元41供应的权重W。计
算单元34将输入信号和存储在权重存储器32中的权重1-W相乘,并且把
相乘值供应给计算单元36。计算单元35将存储在权重存储器31中的权重W
和存储(锁存)在锁存电路37上的输出信号相乘,并且把其相乘值供应给计
算单元36。计算单元36相加计算单元34和35的输出,并且输出其相加值,
作为输出信号。
锁存电路37对计算单元36输出的输出信号加以锁存,并且把这些输出
信号供应给计算单元35。
对于如图4所示的实施例,处理单元11的纠正单元21被配置成包括上
面的权重存储器31和32、计算单元33、34、35和36以及锁存电路37。
这个选择单元41选择权重纠正单元46输出的权重和操作信号处理单元
50输出的权重的一个或另一个,并且将其供应给纠正单元21,作为纠正参数。
输入可靠度计算单元42被安排成把输入信号供应给它,并且获取代表其
输入信号的可靠性的输入可靠度,该输入信号输出到输出可靠度计算单元43
和权重计算单元45。输出可靠度计算单元43根据来自输入可靠度计算单元
42的输入可靠度获取代表输出信号的可靠性的输出可靠度,并且将其供应给
锁存电路44和权重计算单元45。锁存电路44存储(锁存)来自输出可靠度
计算单元43的输出可靠度,并且将其供应给输出可靠度计算单元43和权重
计算单元45。
权重计算单元45从来自输入可靠度计算单元42的输入可靠度和来自输
出可靠度计算单元43的输出可靠度计算权重,并且将其输出到权重纠正单元
46。权重纠正单元46被安排成除了权重之外,还把控制用作纠正参数的权重
的参数控制数据从参数控制数据存储器57供应给它,并且权重纠正单元46
利用参数控制数据处理(纠正)权重,并将其供应给选择单元41。
操作信号处理单元50被安排成把操作信号从操作单元2(图2)供应给
它,以及操作信号处理单元50处理供应给它的操作信号,并且把与其操作信
号相对应的权重供应给选择单元41、教师数据生成单元51和学生数据生成
单元52。进一步,操作信号处理单元50判断操作信号是否是如上所述的学
习操作信号,并且在操作信号是学习操作信号的情况下,把带有那种意思的
标志(下文可以称之为学习标志)加入要输出的权重中。
一旦从操作信号处理单元50接收到把学习标志加入其中的权重,教师数
据生成单元51生成用作学习的教师的教师数据,并且将其供应给学习数据存
储器53。也就是说,教师数据生成单元51向学习数据存储器53供应已经加
入了学习标志的权重,作为教师数据。
一旦从操作信号处理单元50接收到把学习标志加入其中的权重,学生数
据生成单元52生成用作学习的学生的学生数据,并且将其供应给学习数据存
储器53。也就是说,以与如上所述的输入可靠度计算单元42、输出可靠度计
算单元43、锁存电路44和权重计算单元45相同的方式配置学生数据生成单
元52,以从供应给它的输入信号计算权重,并且向学习数据存储器53供应
在接收把学习标志加入其中的权重时从输入信号计算的权重,作为学生数据。
学习数据存储器53存储从教师数据生成单元51供应的、用作与学习操
作信号相对应的权重的一组教师数据以及从学生数据生成单元52供应的、用
作在接收学习操作信号的时候从输入信号计算的权重的学生数据,作为一组
学习数据。如上所述,学习数据存储器53能够存储数组学习数据,并且被安
排成一旦存储学习数据达到存储容量,通过覆盖最早存储值,存储下一个学
习数据。因此,学习数据存储器53基本上总是含有存储在其中的几个最新学
习数据组。
参数控制数据计算单元54学习用作存储在学习数据存储器53中的学习
数据的教师数据和学生数据,以及如有必要,学习参数控制数据,该参数控
制数据供应给判断控制单元56,并且在判断控制单元56的控制下,通过利
用存储在学习信息存储器55中的学习信息计算新学习信息,使预定统计误差
达到极小。此外,参数控制数据计算单元54用通过学习获得的新学习信息更
新学习信息存储器55的存储内容。学习信息存储器55存储来自参数控制数
据计算单元54的学习信息。
判断控制单元56通过参考存储在学习数据存储器53中的最新学习数据,
判断从参数控制数据计算单元54供应的参数控制数据的适合性。此外,判断
控制单元56控制参数控制数据计算单元54,并且把从参数控制数据计算单
元54供应的参数控制数据供应给参数控制数据存储器57。参数控制数据存
储器57利用从判断控制单元56供应的参数控制数据更新其存储内容,并且
将其供应给权重纠正单元46。
对于如图4所示的实施例,处理单元11的学习单元22被配置成包括如
上所述的选择单元41到权重纠正单元46以及操作信号处理单元50到参数控
制数据存储器57。
对于如上所述配置的用作NR电路的优化设备1的处理单元11,如下消
除输入信号中的噪声。
也就是说,例如为了简化描述,考虑通过对其求平均,从而相对如图5A
所示的随时间而涨落的噪声叠加在上面的、具有不变真值的输入信号,消除
随时间而涨落的噪声,例如,通过对于像噪声度那样、噪声级高的输入信号
(即,S/N差的信号),把权重设得小(不多考虑),而对于噪声级低的输入
信号(即,S/N好的信号),把权重设得大,就可以有效地消除噪声。
因此,对于如图4所示的NR电路,通过获取例如如图5B所示、作为输
入信号的评估值的输入信号与真值的接近度,即,代表输入信号是真值的可
靠性的输入可靠度,并且通过进行与输入信号的输入可靠度相对应的加权而
对其求平均,就可以有效地消除噪声。
因此,对于如图4所示的NR电路,与输入信号相关地获得利用与其输
入可靠度相对应的权重的加权平均,输出它作为输出信号,并且输出信号y(t)
可以用下列的表达式来求得,其中,时刻t的输入信号、输出信号和输入可
靠度分别用x(t)、y(t)和αx(t)表达。
[表达式1]
y ( t ) = Σ i = 0 t α x ( i ) x ( i ) Σ i = 0 t α x ( i ) · · · ( 1 ) ]]>
这里,输入可靠度αx(t)越大,提供的权重就越大。
根据表达式(1),可以从下列表达式中获得来自从当前时刻t算起前一
个样本的输出信号y(t-1)。
[表达式2]
y ( t - 1 ) = Σ i = 0 t - 1 α x ( i ) x ( i ) Σ i = 0 t - 1 α x ( i ) · · · ( 2 ) ]]>
此外,关于输出信号y(t),还可以引入代表与真值的接近度的输出可靠度
αy(t),即输出信号y(t)是真值的可靠度,作为输出信号y(t)的评估值,并且来
自从当前时刻t算起前一个样本的输出信号y(t-1)的输出可靠度αy(t-1)通过下列
表达式来定义。
[表达式3]
α y ( t - 1 ) = Σ i = 0 t - 1 α x ( i ) · · · ( 3 ) ]]>
在这种情况下,根据表达式(1)到(3),输出信号y(t)和其输出可靠度
αy(t)可以通过下列表达式来表达。
[表达式4]
= α y ( t - 1 ) y ( t - 1 ) + α x ( t ) x ( t ) α y ( t - 1 ) + α x ( t ) · · · ( 4 ) ]]>
[表达式5]
αy(t)=αy(t-1)+αx(t) ...(5)
此外,用于获取时刻t的输出信号y(t)的权重用w(t)表示,并且通过下列
表达式来定义。
[表达式6]
w ( t ) = α y ( t - 1 ) α y ( t - 1 ) + α x ( t ) · · · ( 6 ) ]]>
根据表达式(6),下列表达式成立。
[表达式7]
1 - w ( t ) = α x ( t ) α y ( t - 1 ) + α x ( t ) · · · ( 7 ) ]]>
利用表达式(6)和(7),表达式(4)中的输出信号y(t)可以用从如下的
相乘和相加的加权平均来表示。
[表达式8]
y(t)=w(t)y(t-1)+(1-w(t))x(t) ...(8)
注意,用在表达式(8)中的权重w(t)(和1-w(t))可以根据表达式(6)
从来自前一个样本的输出信号y(t-1)的输出可靠度αy(t-1)和当前输入信号x(t)的
输入可靠度αx(t)获得。此外,表达式(5)中当前输出信号y(t)的输出可靠度
αy(t)也可以从来自前一个样本的输出信号y(t-1)的输出可靠度αy(t-1)和当前输入
信号x(t)的输入可靠度αx(t)获得。
现在,把各个方差σx(t)2或σy(t)2的倒数用作输入信号x(t)的输入可靠度αx(t)
或输出信号y(t)的输出可靠度αy(t),即按下列表达式定义输入可靠度αx(t)和输
出可靠度αy(t),
[表达式9]
α x ( t ) = 1 σ x ( t ) 2 ]]>
α y ( t ) = 1 σ y ( t ) 2 · · · ( 9 ) ]]>
表达式(6)中的权重w(t)和表达式(7)中的权重1-w(t)可以根据下列
表达式获得。
[表达式10]
w ( t ) = σ x ( t ) 2 σ y ( t - 1 ) 2 + σ x ( t ) 2 · · · ( 10 ) ]]>
[表达式11]
1 - w ( t ) = σ y ( t - 1 ) 2 σ y ( t - 1 ) 2 + σ x ( t ) 2 · · · ( 11 ) ]]>
并且σy(t)2可以通过下列表达式获得。
[表达式12]
σy(t)2=w(t)2σy(t-1)2+(1-w(t))2σx(t)2 ...(12)
如图4所示的NR电路基本上按照表达式(6)进行用于计算用作权重
w(t)的纠正参数的纠正参数计算处理,并且按照表达式(8)利用权重w(t)
计算来自前一个样本的输出信号y(t-1)与当前输入信号x(t)之间的加权平均,
从而进行有效地消除包含在输入信号x(t)中的噪声的纠正处理。
现在,用户不是必然感觉通过按照表达式(6)获得的权重w(t)、作为
输入信号的纠正处理的结果而获得的输出信号是最佳的。因此,如图4所示
的NR电路通过学习用户对操作单元2的操作,进行用于获取参数控制数据
的控制数据学习处理,参数控制数据用于控制(纠正)用作纠正参数的权重
w(t),并且利用通过参数控制数据纠正的权重,进行输入信号的纠正处理。
控制数据学习处理如下进行。
也就是说,与第i时刻用户操作操作单元2提供的学习操作信号相对应
的权重wi可以被当作用户认为最适合在提供学习操作信号的时候输入的输入
信号的那一个权重,因此,对于控制数据学习处理,获取可以把按照表达式
(6)获得的权重w(t)纠正成接近与学习操作信号相对应的权重wi的值(理
想地,同一值)的参数控制数据就足够了。
为此,现在让我们考虑把按照表达式(6)获得的权重w(t)取作用作学习
的学生的学生数据,和把与学习操作信号相对应的权重wi取作用作学习的教
师的教师数据,并且从用作学生数据的权重w(t)中获得用作教师数据的权重
wi的预测值wi′,如下列表达式所示那样,该预测值wi′通过由参数控制数据a
和b定义的线性表达式预测。
[表达式13]
wi′=awi+b ...(13)
注意,在表达式(13)(与如后所述的表达式(14)和表达式(16)到(21)
一起)中,wi代表针对在输入与用作教师数据的与学习操作信号相对应的权
重wi的时候输入的输入信号,按照表达式(6)获得的用作学生数据的权重
w(t)。
根据表达式(13),用作教师数据的wi和其预测值wi′之间的误差(预测
误差)ei像下列表达式所示那样表示。
[表达式14]
ei=wi-wi′
=wi-(awi+b) ...(14)
现在,让我们考虑利用最小二乘法(也称为最小平方误差法),获取使像
下列表达式所表示的那样,表达式(14)中的预测误差ei的平方(2次方)
误差之和达到极小的参数控制数据a和b。
[表达式15]
Σ i = 1 N e i 2 · · · ( 15 ) ]]>
请注意,在表达式(15)(与如后所述的表达式(16)到(21)一起)中,N
代表教师数据和学生数据的组数。
首先,求表达式(15)中的平方误差之和关于每个参数控制数据a和b
的偏导数,得到下列表达式。
[表达式16]
∂ Σ i = 1 N e i 2 ∂ a = - 2 Σ i = 1 N w i ( W i - ( a w i + b ) ) · · · ( 16 ) ]]>
[表达式17]
∂ Σ i = 1 N e i 2 ∂ b = - 2 Σ i = 1 N ( W i - ( a w i + b ) ) · · · ( 17 ) ]]>
由于通过使表达式(16)和(17)中的右侧变成0的a和b可以获得表
达式(15)中的平方误差之和的最小值(极小值),因此,分别把表达式(16)
和(17)中的右侧设为0,从表达式(16)中得出表达式(18)和从表达式
(17)中得出表达式(19)。
[表达式18]
N Σ i = 1 N w i W i = Nb Σ i = 1 N w i + Na Σ i = 1 N w i 2 · · · ( 18 ) ]]>
[表达式19]
Nb = Σ i = 1 N w i - a Σ i = 1 N w i · · · ( 19 ) ]]>
把表达式(19)代入表达式(18)中,使参数控制数据a可以从下列表
达式中获得。
[表达式20]
a = N Σ i = 1 N w i W i - Σ i = 1 N w i Σ i = 1 N W i N Σ i = 1 N w i 2 - ( Σ i = 1 N w i ) 2 · · · ( 20 ) ]]>
此外,根据表达式(19)和(20),可以从下列表达式中获得参数控制数
据b。
[表达式21]
b = Σ i = 1 N W i - a Σ i = 1 N w i N · · · ( 21 ) ]]>
如上所述,为了获取参数控制数据a和b,利用如图4所示的NR电路进
行控制数据学习处理。
接着,参照如图6到8所示的流程图,描述如图4所示的NR电路进行
的纠正处理、纠正参数计算处理和控制数据学习处理。
首先,参照如图6所示的流程图描述纠正处理。
一旦把用作纠正参数的权重w(t)从学习单元22的选择单元41供应到纠
正单元21,纠正单元21的权重存储器31就以覆盖的形式存储权重w(t)。并
且纠正单元21的计算单元33从1.0中减去权重w(t),获得权重1-w(t),将
其供应给权重存储器32,并且以覆盖的形式存储它。
然后一旦供应输入信号x(t),在步骤S21中,计算单元34计算输入信号
x(t)和存储在权重存储器32中的权重1-w(t)的乘积,并且将其供应给计算单
元36。并且在步骤S21中,计算单元35计算存储在权重存储器31中的权重
w(t)和锁存电路37锁存的来自前一个样本的输出信号y(t-1)的乘积,并且将其
供应给计算单元36。
然后流程转到步骤S22,在步骤S22中,计算单元36将输入信号x(t)和
权重1-w(t)的乘积与权重w(t)和输出信号y(t-1)的乘积相加,从而获得作为
输出信号y(t)输出的、输入信号x(t)和输出信号y(t-1)的加权和值(1-
w(t))x(t)+w(t)y(t-1)。把这个输出信号y(t)也供应给锁存电路37,锁存电路37
以覆盖的形式存储输出信号y(t)。随后,流程返回到步骤S21,等待要供应的
下一个样本的输入信号,然后重复相同的处理。
接着,参照如图7所示的流程图描述纠正参数计算处理。
对于纠正参数计算处理,首先在步骤S31中,输入可靠度计算单元42获
取例如基于输入信号的方差的输入可靠度αx(t)。
也就是说,输入可靠度计算单元42内置了除了当前输入信号的样本x(t)
之外,能够锁存几个旧样本的未示出的FIFO(先进先出)存储器,以及利用
当前输入信号的样本x(t)和几个旧样本计算其方差,和获取其倒数作为输入可
靠度αx(t),并且将其供应给输出可靠度计算单元43和权重计算单元45。请注
意,存在着在开始输入输入信号之后马上计算方差所需的输入信号样本的数
量不够的情况,但是,在这样的情况下,输出例如默认值作为输入可靠度αx(t)。
随后,流程转到步骤S32,权重计算单元45利用来自输入可靠度计算单
元42的输入可靠度αx(t),按照表达式(6)获取权重w(t)。
也就是说,在把输入可靠度αx(t)从输入可靠度计算单元42供应到权重计
算单元45的时候,在锁存电路44上锁存着输出可靠度计算单元43已经输出
的前一个样本的输出可靠度αy(t-1),在步骤S32中,权重计算单元45利用来自
输入可靠度计算单元12的输入可靠度αx(t)和锁存电路14锁存的输出可靠度
αy(t-1),按照表达式(6)获取权重w(t)。把该权重w(t)供应给权重纠正单元46。
随后,流程转到步骤S33,权重计算单元46从参数控制数据存储器57
读出参数控制数据,然后转到步骤S34。在步骤S34中,权重纠正单元46判
断从参数控制数据存储器57中读出的参数控制数据是否是其中权重w(t)没有
得到纠正的模式的数据,即是否没有随用于纠正输入信号x(t)的权重W而改
变地、使用了代表其中自动获得权重w(t)的模式的自动模式数据(下文可以
称之为自动模式),而权重w(t)可以说是从在权重计算单元45的输入可靠度
和输出可靠度与用户在操作单元2上的操作无关地自动获得的。
在步骤S34中,在做出参数控制数据不是自动模式数据的判断的情况下,
流程转到步骤S35,权重纠正单元46按照通过参数控制数据存储器57供应
的参数控制数据a和b定义的表达式(13)中的线性表达式,纠正权重纠正
单元45供应的权重w(t),然后转到步骤S36。在步骤S36中,权重纠正单元
46把纠正后的权重供应给选择单元41,然后转到步骤S37。这里,在表达式
(13)中,wi相当于权重计算单元45供应的权重w(t),而Wi′相当于纠正后
的权重W。
另一方面,在步骤S34中,在做出参数控制数据是自动模式数据的判断
的情况下,流程跳过步骤S35,转到步骤S36,在步骤S36中,权重纠正单元
46没有改变地把权重w(t)从权重计算单元45供应到计算单元41,然后流程
转到步骤S37。
在步骤S37中,输出可靠度计算单元43更新输出可靠度。也就是说,输
出可靠度计算单元43按照表达式(5),相加输入可靠度计算单元42在紧接
前面步骤S31中已经计算的输入可靠度αx(t)和锁存电路44已经锁存的来自前
一个样本的输出可靠度αy(t-1),从而获得以覆盖的形式存储在锁存电路44中的
当前输出可靠度αy(t)。
然后流程转到步骤S38,选择单元41从操作信号处理单元50的输出判
断用户是否正在操作操作单元2。在步骤S38中,在做出没有正在操作操作
单元2的判断的情况下,流程转到步骤S39,在步骤S39中,选择单元41选
择输出到纠正单元21的、从权重纠正单元46供应的权重(下文可以称之为
纠正权重),然后流程转到步骤S31。
此外,在步骤S38中,在做出正在操作操作单元2的判断的情况下,流
程转到步骤S40,在步骤S40中,选择单元41根据操作选择要由操作信号处
理单元50输出的权重,将其输出到纠正单元21,然后流程返回到步骤S31。
因此,在如图7所示的纠正参数计算处理中,在没有正在操作操作单元
2的情况下,把纠正权重供应给纠正单元21,而在正在操作操作单元2的情
况下,把与操作信号相对应的权重供应给纠正单元21。结果,在纠正单元21
上,在没有正在操作操作单元2的情况下,通过纠正权重来纠正输入信号,
而在正在操作操作单元2的情况下,通过与操作信号相对应的权重来纠正输
入信号。
并且,在如图7所示的纠正参数计算处理中,在自动模式的情况下,与
操作单元2的操作无关地只从输入可靠度和输出可靠度中获取要用于纠正处
理的权重,而如果没有处在自动模式下,根据操作单元2的操作,利用在如
后所述的、如图8所示的控制数据学习处理中通过学习获得的参数控制数据
获得要用于纠正处理的权重。
接着,参照如图8所示的流程图描述控制数据学习处理。
在控制数据学习处理中,首先,在步骤S41中,操作信号处理单元50判
断是否已经从操作单元2接收到学习操作信号,并且在做出还没有接收到这
些学习操作信号的判断的情况下,流程返回到步骤S41。
此外,在步骤S41中做出已经从操作单元2接收到这些学习操作信号的
判断的情况下,也就是说,在可以做出用户已经操作了操作单元2,从而获
得所需的输出信号的判断的情况下,譬如,在开始对例如操作单元2进行操
作,而在此之后,还没有经过第1时间t1或更长,在第2时间t2或更长内继
续进行操作,而在此之后,在第3时间t3或更长内持续停止其操作的情况下,
或者,在开始对操作单元2进行操作,而在此之后,在第3时间t3或更长内
持续停止其操作的情况下,流程转到步骤S42,在步骤S42中,教师数据生
成单元51生成教师数据,而学生数据生成单元52生成学生数据。
也就是说,在接收到学习操作信号的情况下,操作信号处理单元50将与
学习操作信号相对应的权重W(例如,与操作单元2的操作量或用作操作单
元2的旋钮或控制杆的位置相对应的权重W)与学习标志一起供应给教师数
据生成单元51和学生数据生成单元52。一旦接收到附带学习标志的权重W,
教师数据生成单元51就获取作为教师数据的权重W,并且将其供应给学习数
据存储器53。此外,一旦接收到附带学习标志的权重,学生数据生成单元52
就获取作为学生数据的、与那个时刻的输入信号相对应的权重w,并且将其
供应给学习数据存储器53。
这里,与输入信号相对应的权重w指的是,可以说,按照表达式(6),
从输入可靠度和输出可靠度中自动获取的权重,并且如上所述,学生数据生
成单元52从输入信号计算与输入信号相对应的这个权重w。
一旦从教师数据生成单元51接收到教师数据W和从学生数据生成单元
52接收到学生数据w,学习数据存储器53就在步骤S43中,存储该组最新
教师数据W和学生数据w,然后转到步骤S44。
在步骤S44中,参数控制数据计算单元54对教师数据和学生数据为最小
二乘而进行加入。
也就是说,参数控制数据计算单元54在表达式(20)和(21)中进行等
效于学生数据wi和教师数据Wi的相乘(wiWi)和求和(∑wiWi)的计算、等
效于学生数据wi的求和(∑wi)的计算、等效于教师数据Wi的求和(∑Wi)
的计算以及等效于学生数据wi自乘的求和(∑wi2)的计算。
现在,假设已经获得了例如N-1组教师数据和学生数据,和已经获得
了第N组教师数据和学生数据作为最新教师数据和学生数据,此时,在参数
控制数据计算单元54上已经进行了对第N-1组教师数据和学生数据的加
入。因此,对于第N组教师数据和学生数据,只要已经保存了已经对第N-1
组教师数据和学生数据进行的加入的结果,通过加入第N组教师数据和学生
数据,可以获得包括最新教师数据和学生数据的N组教师数据和学生数据的
加入结果。
因此,参数控制数据计算单元54被安排成把以前加入的结果存储在学习
信息存储器55中作为学习信息,和利用这个学习信息,对第N组教师数据
和学生数据进行加入。现在,到此为止用于加入的教师数据和学生数据的组
数N也是加入所必须的,并且学习信息存储器55被安排成还把组数N存储
成学习信息。
在步骤S44中进行加入之后,参数控制数据计算单元54以覆盖的方式把
加入的结果存储在学习信息存储器55中作为学习信息,然后流程转到步骤
S45。
在步骤S45中,参数控制数据计算单元54判断是否可以从作为学习信息
存储在学习信息存储器55中的加入结果,获得用表达式(20)和(21)表示
的参数控制数据a和b。
也就是说,对于下文在适当的地方被取作学习对的该组教师数据和学生
数据,除非存在通过至少两个学习对获得的学习信息,不能从表达式(20)
和(21)中获得参数控制数据a和b。因此,在步骤45中,对是否可以从学
习信息获得参数控制数据a和b做出判断。
在步骤S45中做出不可以获取参数控制数据a和b的判断的情况下,参
数控制数据计算单元54把带有那种意思的通知供应给判断控制单元56,然
后流程转到步骤S49。在步骤S49中,判断控制单元56把指示自动模式的自
动模式数据供应给将其存储成参数控制数据的参数控制数据存储器57。然后
流程返回到步骤S41,并且接着,重复相同的处理。
因此,在不存在足以获取参数控制数据a和b的学习信息的情况下,正
如参照图7所述的那样,对于输入信号x(t)的纠正,无需改变地使用从输入可
靠度和输出可靠度中自动获得的权重w(t)。
另一方面,在步骤S45中做出可以获得参数控制数据a和b的判断的情
况下,流程转到步骤S46,在步骤S46中,参数控制数据计算单元54通过利
用供应给判断控制单元56的学习信息计算表达式(20)和(21),获得参数
控制数据a和b,然后流程转到步骤S47。
在步骤S47中,判断控制单元56按照来自参数控制数据计算单元54的
参数控制数据a和b所定义的表达式(13)中的线性表达式,从存储在学习
数据存储器53中的每条学生数据中获取相应教师数据的预测值,和获取用于
其预测值的预测误差(有关存储在学习数据存储器53中的教师数据的误差)
的表达式(15)中所指示的平方误差之和。并且,判断控制单元56获取将平
方误差之和除以例如存储在学习数据存储器53中的学习对的数量的归一化
误差,然后流程转到步骤S48。
在步骤S48中,判断控制单元56判断归一化误差是否大于(等于或大于)
预定阈值S1。在步骤S48中,在归一化误差被判断为大于预定阈值S1的情
况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式不
以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间
的关系的情况下,流程转到步骤S49,在步骤S49中,判断控制单元56如上
所述,把代表自动模式的自动模式数据作为参数控制数据供应给存储它的参
数控制数据存储器57。然后流程返回到步骤S41,并且重复相同的处理。
因此,即使可以获得参数控制数据a和b,在通过参数控制数据a和b
定义的表达式(13)中的线性表达式不以精确的方式接近存储在学习数据存
储器53中的学生数据和教师数据之间的关系的情况下,也以与不存在足以获
取参数控制数据a和b的学习信息的情况相同的方式,对于输入信号x(t)的纠
正,无需改变地使用从输入可靠度和输出可靠度中自动获得的权重w(t)。
另一方面,在步骤S48中,在做出归一化误差不大于预定阈值S1的判断
的情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达
式以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之
间的关系的情况下,流程转到步骤S50,在步骤S50中,判断控制单元56获
取由来自参数控制数据计算单元54的参数控制数据a和b所定义的表达式
(13)中的线性表达式所表示的回归线和由存储在学习数据存储器53中的最
新教师数据和学生数据所规定的点之间的误差(距离)ε。
然后流程转到步骤S51,在步骤S51中,判断控制单元56判断误差ε的
幅度是否大于(等于或大于)预定阈值S2,并且在做出不大于的判断的情况
下,跳过步骤S52,流程转到步骤S53,而且判断控制单元56把在步骤S46
中获得的参数控制数据a和b输出到参数控制数据存储器57。参数控制数据
存储器57以覆盖的形式存储来自判断控制单元56的参数控制数据a和b,然
后流程返回到步骤S41。
另一方面,在步骤S51中做出误差ε的幅度大于预定阈值S2的情况下,
流程转到步骤S52,在步骤S52中,判断控制单元56通过控制参数控制数据
计算单元54,只利用存储在学习数据存储器53中的、从作为最新教师数据
和学生数据的最新学习对开始往回数的预定数量学习对(不利用学习信息存
储器55中的学习信息),重新计算参数控制数据a和b。然后流程转到步骤
S53,在步骤S53中,判断控制单元56把在步骤S52中获得的参数控制数据
a和b输出到以覆盖的形式存储它的参数控制单元数据存储器37,然后流程
返回到步骤S41。
因此,在可以获得参数控制数据a和b的情况下,并且在通过参数控制
数据a和b定义的表达式(13)中的线性表达式以精确的方式接近存储在学
习数据存储器53中的学生数据和教师数据之间的关系的情况下,按照通过利
用根据用户对操作单元2的操作获得的学习对进行学习而获得的参数控制数
据a和b所定义的表达式(13),从输入可靠度和输出可靠度中获得的权重
w(t)得到纠正,并且把通过对其纠正获得的纠正权重W用于纠正输入信号
x(t)。
现在,在步骤S46中获得的参数控制数据a和b所定义的表达式(13)
中的线性表达式所代表的回归线是如图9A所示的、使具有由N组教师数据
和学生数据规定的N个点的平方误差(之和)最小的直线,并且在步骤S50
中,获取这条直线与由最新教师数据和学生数据规定的点之间的误差ε。
在这个误差ε的幅度不大于预定阈值S2的情况下,可以认为,通过在步
骤S46中获得的参数控制数据a和b定义的表达式(13)中的线性表达式所
表示的回归线、以相对精确的方式接近包括利用最新教师数据和学生数据规
定的点的、由到目前为止提供的学生数据和教师数据规定的每个点。
但是,在误差ε的幅度大于预定阈值S2的情况下,即在如图9B所示、通
过教师数据和学生数据规定的点(在图9B中用圆圈表示)大大地偏离在步骤
S46中获得的参数控制数据a和b所定义的表达式(13)中的线性表达式所
代表的回归线的情况下,可以设想,由于某种原因,用户带着与到目前为止
不同的意向对操作单元2进行了操作。
因此,在这种情况下,判断控制单元56在步骤S52中,通过控制参数控
制数据计算单元54,只利用存储在学习数据存储器53中的学习对的几个最
新学习对,重新计算参数控制数据a和b。
也就是说,在这种情况下,参数控制数据计算单元54无需利用(忘记)
存储在学习信息存储器55中的、用作过去的加入结果的学习信息,只利用最
近几组教师数据和学生数据,重新计算以表达式(13)定义最接近由教师数
据和学生数据规定的一群点的直线的参数控制数据a和b。
具体地说,如图9C所示,例如参数控制数据计算单元54获取定义经过
由最新教师数据和学生数据规定的点(在图9C中用圆圈表示)和由前一个时
刻提供的教师数据和学生数据规定的点(在图9C中用三角形表示)的直线的
参数控制数据a′和b′。
如上所述,对根据用户操作供应的操作信号是否可以用于学习做出判断,
并且在该信号是可以用于学习的学习操作信号的情况下,根据学习操作信号
学习用于纠正权重的参数控制数据a和b,而该权重用于纠正输入信号,因此,
无需用户知道,就可以学习用户的操作,其结果是,根据学习结果逐渐进行
适合用户的处理,最终进行最适合用户的处理。
这意味着,从用户的角度来看,在正常操作操作单元2一段时间之后,
即使没有进行操作,也可以对各种类型的输入信号获得最适合用户的噪声降
低结果,因此可以说,设备被打断了。在打断设备的这个阶段,用户操作操
作单元2,以便获得所需输出信号,因此操作单元2的操作和用于纠正输入
信号的权重W之间的关系逐渐被用户清楚地识别出来,因此,到最后,用户
对操作单元2的操作和用于纠正输入信号的权重W逐渐被定性地联系起来。
此外,在如图4所示的NR电路上,改变用于按照用户对操作单元2的
操作而在纠正单元21上进行的纠正处理(图6)的权重W,以便可以获得用
户所需的输出信号。也就是说,一旦用户操作操作单元2,操作信号处理单
元50就输出代表与操作相对应的操作信号的权重,选择单元41选择权重,
并且将其供应给纠正单元21。在这种情况下,在纠正单元21上,利用与用
户所作的操作相对应的权重进行如表达式(8)所表示纠正处理。在要改变表
达式(8)中的权重w(t)的情况下,由于用户所作的操作,表达式(8)所表
示的处理(纠正处理)的内容也理所当然地发生改变,因此,可以认为,在
如图4所示的NR电路上,“处理的内容”正随用户的操作而改变,使得可以
获取用户所需的输出信号。
并且,在如图4所示的NR电路上,在不能获得参数控制数据a和b的
情况下,或者,在可以获得参数控制数据a和b,但是,通过参数控制数据a
和b定义的表达式(13)中的线性表达式不以精确的方式接近存储在学习数
据存储器53中的学生数据和教师数据之间的关系的情况下,从输入可靠度和
输出可靠度中自动获得的权重用于纠正单元21上的纠正处理。另一方面,在
可以获得参数控制数据a和b,并且通过参数控制数据a和b定义的表达式
(13)中的线性表达式以精确的方式接近存储在学习数据存储器53中的学生
数据和教师数据之间的关系的情况下,按照通过学习获得的参数控制数据a
和b所定义的表达式(13),纠正从输入可靠度和输出可靠度中获得的权重,
并且通过这种纠正获得的纠正权重由纠正单元21用于纠正处理,所述学习利
用根据用户对操作单元2的操作获得的学习对进行。
也就是说,对于如图4所示的NR电路,在用户还没有输入足够多的学
习对的情况下,或者,在还没有输入借此可以进行高精度接近的学习对的情
况下,从输入可靠度和输出可靠度中自动获得的权重用于纠正单元21上的纠
正处理,并且在已经输入了借此可以进行高精度接近的学习对的情况下,通
过利用学习对进行学习获得的参数控制数据a和b获得的纠正权重用于纠正
单元21上的纠正处理。
因此,表达式(8)中的权重w(t)最终的确在没有获得足够数量的学习对
或能够进行高精度接近的学习对的情况、以及获得能够进行高精度接近的学
习对的情况之间发生改变,因此,由表达式(8)所表示的纠正处理的内容也
发生改变,使得从这个角度来看,以及对于如图4所示的NR电路,可以认
为,“处理的内容”发生改变,使得获得用户所需的输出信号。
并且,对于如图4所示的NR电路,计算用于纠正处理的权重的系统随
没有获得足够数量的学习对或能够进行高精度接近的学习对的情况以及获得
能够进行高精度接近的学习对的情况而改变。
也就是说,在没有获得足够数量的学习对或能够进行高精度接近的学习
对的情况下,与用户所作的操作无关地从输入可靠度和输出可靠度中获得权
重。另一方面,在获得能够进行高精度接近的学习对的情况下,根据通过利
用根据用户的操作获得的学习对进行学习而获得的参数控制数据获得权重。
因此在这种情况下,可以认为,计算权重的处理系统,即如何获得权重
的算法是这样变化的,使跟随用户的操作可以获得用户所需的输出信号。
现在,用函数F表示获取权重的处理,“处理的内容”的如上所述改变等
效于函数F发生改变。这里,函数F发生改变的情况一般划分成函数F本身
的形式发生改变的情况(例如,F=x改变成F=x2等的情况)和函数F本身
的形式没有改变但定义函数F的系数发生改变的情况(例如,F=2x变成F
=3x等)。
现在,在“处理的内容”的改变当中,如果我们认为代表本身的处理的函
数F的形式发生改变的情况是“处理的结构”的改变,那么,可以认为改变如
上所述计算权重的处理系统,即如何获得权重的算法是改变“处理的结构”。
因此,对于如图4所示的NR电路,“处理的内容”以及“处理的结构”也随
用户所作的操作而发生改变,从而,可以获得用户所需的输出信号。
此外,至于输入信号,当然可以使用图像信号和音频信号,以及其它信
号。但是,在输入信号是图像信号的情况下,根据从空间方面或时间方面在
要处理的像素附近的数个像素中获得的方差计算输入可靠度。
此外,对于如上所述的情况,为了便于描述,在学习单元22中通过由参
数控制数据a和b定义的表达式(13)中的线性表达式把从输入可靠度等中
获得的权重w纠正成纠正权重W,但是,实际上,权重w的纠正最好通过更
高次的表达式来进行。此外,更高次表达式的次数(degree)最好被设置成基
于例如应用优化设备1的应用等的适当值。
并且,可以为从权重w中获得纠正权重W的表达式(下文可以称之为纠
正权重计算表达式)做出这样的安排,除了表达式(13)中的线性表达式W=aw
+b之外,还准备了数个表达式,例如2次表达式W=aw2+bw+c和3次表
达式W=aw3+bw2+cw+d等(其中,a、b、c和d是预定系数),并且应用
数个纠正权重计算表达式当中保护(shield)最小归一化误差的那一个。请注
意,在这种情况下,选择从通过用户的操作获得的学习对中获得的归一化误
差最小的纠正权重计算表达式,并且利用所选的纠正权重计算表达式获取纠
正权重。也就是说,如何获取纠正权重的算法随着用户的操作而改变。因此,
在这种情况下,还可以认为,“处理的结构”随着用户的操作而改变。
接着,图10显示了如图4所示的优化设备1的处理单元11应用于NR
电路的情况的另一个详细配置例。在该图中,与图4中情况相应的部分用相
同的标号表示,并且适当地省略对它们的描述。也就是说,除了没有配备权
重纠正单元46,而配备输入可靠度计算单元61和学生数据生成单元62分别
取代输入可靠度计算单元42和学生数据生成单元52之外,如图10所示的
NR电路与如图4所示的NR电路基本上具有相同的配置。
输入可靠度计算单元61从输入信号的数个样本和存储在参数控制数据
存储器57中的参数控制数据中计算输入信号的输入可靠度,并且将其供应给
输出可靠度计算单元43和权重计算单元45。
学生数据生成单元62获取输入信号和作为学生数据从输出可靠度计算
单元43输出的输出可靠度,并且将其供应给学习数据存储器53。
注意,对于如图10所示的实施例,没有配备权重纠正单元46,因此,
把在权重计算单元45中获得的权重没有改变地供应给选择单元41,并且这
个选择单元41被安排成以与如图4所示的相同的方式,必须选择和输出这个
权重计算单元45输出的权重和操作信号处理单元50输出的权重之一或另一。
此外,对于如图10所示的实施例,参数控制数据起控制输入可靠度的数
据的作用。
与如图4所示的NR电路一样,图10中的NR电路也进行纠正处理、纠
正参数计算处理和控制数据学习处理。纠正处理是以与参照图6所述的处理
相同的方式进行的,因此,对于如图10所示的NR电路,省略纠正处理的描
述,并且对纠正参数计算处理和控制数据学习处理加以描述。
也就是说,对于图10中的NR电路,例如,对如通过下列表达式所定义
那样的、规定用在纠正处理中的表达式(6)所示的权重的输入可靠度αx(t)进
行纠正参数计算处理和控制数据学习处理。
[表达式22]
αx(t)=a1x1+a2x2+…+aNxN ....(22)
但是,请注意,在表达式(22)中,a1,a2,...,aN代表参数控制数据,
而x1,x2,...,xN代表与要经受处理的输入信号的样本(感兴趣样本)存在
预定关系的输入信号的样本。现在,在输入信号是例如图像信号的情况下,
例如,用作感兴趣样本的像素(在图11中用X表示)和在空间方面或时间方
面处在那个像素附近的位置上的像素(在图11中用圆圈表示)可以用于x1,
x2,...,xN。
根据表达式(22),可以把表达式(6)提供的权重w(t)表示成表达式(23)。
[表达式23]
w ( t ) = α y ( t - 1 ) α y ( t - 1 ) + α x ( t ) ]]>
= α y ( t - 1 ) α y ( t - 1 ) + ( a 1 x 1 + a 2 x 2 + · · · + a N x N ) · · · ( 23 ) ]]>
因此,在输入输入信号x1,x2,...,xN的情况下,应该从表达式(23)
中获得满足下列表达式的参数控制数据a1,a2,...,aN,以便获得用户提供的
权重W。
[表达式24]
W = α y ( t - 1 ) α y ( t - 1 ) + ( a 1 x 1 + a 2 x 2 + · · · + a N x N ) · · · ( 24 ) ]]>
作为表达式(24)的变形,可以获得表达式(25)。
[表达式25]
(a1x1+a2x2+…+aNxN)W+(W-1)αy(t-1)=0 ...(25)
一般说来,获取总是满足表达式(25)的参数控制数据a1,a2,...,aN
是困难的,因此,这里我们将考虑获取例如通过最小二乘法使表达式(25)
的左侧和右侧的平方误差之和达到最小的参数控制数据a1,a2,...,aN。
这里,使表达式(25)的左侧和右侧的平方误差之和达到最小意味着使
通过表达式(23)提供的权重w(t)和由用户提供的权重W的平方误差达到最
小,即对于作为教师数据由用户提供的权重W和定义表达式(23)中作为学
生数据的权重w(t)的输入信号x1,x2,...,xN和输出可靠度αy(t-1),等效于使
通过表达式(23)从学生数据计算的权重w(t)和由用户提供的作为教师数据
的权重W的平方误差达到最小,并且通过表达式(23)从这样的参数控制数
据a1,a2,...,aN和学生数据计算的权重w(t)与教师数据W存在很小误差。
表达式(25)的左侧和右侧的平方误差e2通过表达式(26)得出。
[表达式26]
e2={(a1x1+a2x2+…+aNxN)W+(W-1)αy(t-1)}2 ...(26)
使平方误差e2最小的参数控制数据a1,a2,...,aN通过使表达式(26)
中的平方误差e2关于参数控制数据a1,a2,...,aN的每一个的偏导数变成0
的条件,即通过下列表达式得出。
[表达式27]
∂ e 2 ∂ a 1 = 0 , ∂ e 2 ∂ a 2 = 0 , · · · · · · , ∂ e 2 ∂ a N = 0 · · · ( 27 ) ]]>
把表达式(26)代入表达式(27)中,得到表达式(28)。
[表达式28]
(a1x1W+a2x2W+…+aNxNW+(W-1)αy(t-1))Wx1=0
(a1x1W+a2x2W+…+aNxNW+(W-1)αy(t-1))Wx2=0
……
(a1x1W+a2x2W+…+aNxNW+(W-1)αy(t-1))WxN=0 ...(28)
因此,通过像表达式(29)所示那样定义矩阵X、A和Y的每一个,根
据表达式(28),对于矩阵X、A和Y,表达式(30)所示的关系成立。
[表达式29]
X = Σ W 2 x 1 2 Σ W 2 x 2 x 1 . . . Σ W 2 x N x 1 Σ W 2 x 1 x 2 Σ W 2 x 2 2 . . . Σ W 2 x N x 2 . . . . . . . . . . . . Σ W 2 x 1 x N Σ W 2 x 2 x N . . . Σ W 2 x N 2 , A = a 1 a 2 . . . a N , ]]>
Y = ΣW ( 1 - W ) α y ( t - 1 ) x 1 ΣW ( 1 - W ) α y ( t - 1 ) x 2 . . . ΣW ( 1 - W ) α y ( t - 1 ) x N . . . ( 29 ) ]]>
[表达式30]
XA=Y ...(30)
请注意,表达式(29)中的求和(∑)指的是一旦用户输入输入信号x1
到xN,就对输入信号x1到xN的组数和用户提供的权重W求和。
表达式(30)可以通过例如Cholesky方法等,针对矩阵(矢量)A,即
参数控制数据a1,a2,...,aN加以求解。
图10中的NR电路进行如上所述的控制数据学习处理,其中,对于作为
教师数据由用户提供的权重W、定义表达式(23)中作为学生数据的权重w(t)
的输入信号x1,x2,...,xN和输出可靠度αy(t-1),通过最小二乘法学习使通过
表达式(23)从教师数据中计算的权重w(t)和由用户提供的作为教师数据的
权重W的平方误差达到最小的参数控制数据a1,a2,...,aN。并且图10中的
NR电路从通过参数控制数据a1到aN定义的表达式(22)中获得输入可靠度
αx(t),并且进行按照表达式(23)、从输入可靠度αx(t)和输出可靠度αy(t-1)中获
得用作纠正参数的权重的纠正参数计算处理。
现在,参照如图12所示的流程图描述利用如图10所示的NR电路进行
的纠正参数计算处理。
在纠正参数计算处理中,首先,在步骤S61中,输入可靠度计算单元61
从参数控制数据存储器57中读出参数控制数据,然后流程转到步骤S62。在
步骤S62中,输入可靠度计算单元61判断从参数控制数据存储器57中读出
的参数控制数据是否是代表其中没有利用参数控制数据获得输入可靠度的模
式的自动模式数据,即可以说,其中与用户对操作单元2的操作无关地只从
输入信号中自动获得输入可靠度的模式(也可以称这种模式为自动模式)。
在步骤S62中,在做出参数控制数据不是自动模式数据的判断的情况下,
流程转到步骤S63,输入可靠度计算单元61按照通过从参数控制数据存储器
57读出的参数控制数据a1到aN定义的表达式(22)中的线性表达式,利用
供应给它的最新N段输入信号样本x1到xN,获取输入可靠度αx(t),将其供应
给输出可靠度计算单元43和权重计算单元45,然后转到步骤S65。
此外,在步骤S62中参数控制数据被判断为自动模式数据的情况下,流
程转到步骤S64,输入可靠度计算单元61以与例如图7中的步骤S31相同的
方式,根据其方差,只利用输入信号获取获取输入可靠度αx(t),并且将其供应
给输出可靠度计算单元43和权重计算单元45。
在步骤S65中,权重计算单元45利用来自输入可靠度计算单元61的输
入可靠度αx(t)和锁存在锁存电路44上的、由输出可靠度计算单元43在前一个
样本输出的输出可靠度αy(t-1),按照表达式(23)获取权重w(t)。把这个权重
w(t)从权重计算单元45供应到选择单元41。
随后,流程转到步骤S66,并且以与图7中的步骤S37相同的方式,输
出可靠度计算单元43根据表达式(5),相加输入可靠度计算单元61供应的
输入可靠度αx(t)和锁存在锁存电路44上的、来自前一个样本的输出可靠度
αy(t-1),从而更新输出可靠度αy(t),并且以覆盖的形式存储在锁存电路44中。
然后流程转到步骤S67,在步骤S67中,选择单元41从操作信号处理单
元50的输出中判断用户是否正在操作操作单元2。在步骤S67中做出没有正
在操作操作单元2的判断的情况下,流程转到步骤S68,选择单元41选择权
重计算单元45供应的权重,将其输出到纠正单元21,然后流程返回到步骤
S61。
此外,在步骤S67中做出正在操作操作单元2的判断的情况下,流程转
到步骤S69,在步骤S69中,选择单元41根据其操作选择操作信号处理单元
50输出的权重,将其输出到纠正单元21,然后流程返回到步骤S61。
因此,在如图12所示的纠正参数计算处理中,在没有正在操作操作单元
2的情况下,把根据输入可靠度计算的权重供应给纠正单元21,而在正在操
作操作单元2的情况下,把与其操作信号相对应的权重供应给纠正单元21。
因此,在纠正单元21上,在没有正在操作操作单元2的情况下,通过基于输
入可靠度的权重纠正输入信号,而在正在操作操作单元2的情况下,通过与
其操作信号相对应的权重纠正输入信号。
并且,在如图12所示的纠正参数计算处理中,在自动模式的情况下,与
操作单元2的操作无关,根据输入信号的方差,从输入可靠度中获取要用于
纠正处理的权重,而在没有处在自动模式下的情况下,根据操作单元2的操
作,从利用在如后所述的、如图13所示的控制数据学习处理中通过学习获得
的参数控制数据获得的输入可靠度中获得用于纠正处理的权重。
接着,参照如图13所示的流程图描述如图10所示的NR电路进行的控
制数据学习处理。
对于控制数据学习处理,首先,在步骤S71中,以与图8中的步骤S41
相同的方式,操作信号处理单元50判断是否已经从操作单元2接收到学习操
作信号,并且在做出还没有接收到这些学习操作信号的判断的情况下,流程
返回到步骤S71。
此外,在步骤S71中做出已经从操作单元2接收到这些学习操作信号的
判断的情况下,即在可以做出用户已经操作了操作单元2、从而获得所需的
输出信号的判断的情况下,譬如,在开始对例如操作单元2进行操作,在此
之后,还没有经过第1时间t1或更长,在第2时间t2或更长时间内继续进行
操作,在此之后,在第3时间t3或更长时间内持续停止其操作的情况下,或
者,在开始对操作单元2进行操作之后,在第3时间t3或更长时间内持续停
止其操作的情况下,流程转到步骤S72,在步骤S72中,教师数据生成单元
51生成教师数据,而学生数据生成单元62生成学生数据。
也就是说,在接收到学习操作信号的情况下,操作信号处理单元50将与
学习操作信号相对应的权重W与学习标志一起供应给教师数据生成单元51
和学生数据生成单元62。一旦接收到附带学习标志的权重W,教师数据生成
单元51就获取作为教师数据的权重W,并且将其供应给学习数据存储器53。
另一方面,学生数据生成单元62含有缓存输入信号的内置缓冲器(未示
出),不断地把输入信号存储在缓冲器中,直到其存储容量,并且在接收到附
带学习标志的权重的情况下,从内置缓冲器中读出与在那时输入的输入信号
的样本存在预定位置关系的输入信号的样本x1到xN。并且,学生数据生成单
元62从输出可靠度计算单元43中读出输出可靠度αy(t-1)。然后学生数据生成
单元62把输入信号的样本x1到xN和输出可靠度αy(t-1)供应给学习数据存储器
53,作为学生数据。
一旦从教师数据生成单元51接收到教师数据W和从学生数据生成单元
62接收到学生数据x1到xN和输出可靠度αy(t-1),在步骤S73中,学习数据存
储器53存储该组(学习对)最新教师数据W和学生数据x1到xN和输出可靠
度αy(t-1),然后流程转到步骤S74。
在步骤S74中,参数控制数据计算单元54对教师数据和学生数据进行用
于最小二乘的加入。
也就是说,参数控制数据计算单元54进行作为表达式(29)中矩阵X
和Y的成分的一个学生数据和另一个学生数据之间的乘积、学生数据和教师
数据的乘积和它们的求和的计算。
现在,以与图8中的步骤S44中的加入相同的方式进行步骤S74中的加
入。也就是说,把以前加入的结果存储在学习信息存储器55中,作为学习信
息,参数控制数据计算单元54利用这种学习信息进行与最新教师数据和学生
数据有关的加入。
在步骤S74中的加入之后,参数控制数据计算单元54以覆盖的形式把加
入的结果存储在学习信息存储器55内,作为学习信息,然后流程转到步骤
S75,参数控制数据计算单元54判断是否可以根据作为学习信息存储在学习
信息存储器55中的相加结果,关于矩阵A求解表达式(30),即是否可以获
得参数控制数据a1到aN。
也就是说,除非存在从预定个学习对或更多个学习对中获得的学习信息,
不能关于矩阵A求解表达式(30),并且不能获得用作其分量的参数控制数
据a1到aN。因此,在步骤S75中,判断是否可以从学习信息中获得参数控制
数据a1到aN。
在步骤S75中,在做出不能获取参数控制数据a1到aN的判断的情况下,
参数控制数据计算单元54把带有那种意思的信息供应给判断控制单元56,
然后流程转到步骤S79。在步骤S79中,判断控制单元56把代表自动模式的
自动模式数据作为参数控制数据供应给存储它的参数控制数据存储器57。然
后流程返回到步骤S71,并且接着,重复相同的处理。
因此,在不存在获取参数控制数据a1到aN的足够学习信息的情况下,正
如参照图12所述的那样,根据输入信号的方差从输入可靠度中获得的权重用
于输入信号x(t)的纠正。
另一方面,在步骤S75中做出可以获得参数控制数据的判断的情况下,
流程转到步骤S76,在步骤S76中,参数控制数据计算单元54通过利用学习
信息求解关于矩阵A的表达式(30),获得参数控制数据a1到aN,将其供应
给判断控制单元56,然后流程转到步骤S77。
在步骤S77中,判断控制单元56按照来自参数控制数据计算单元54的
参数控制数据a1到aN所定义的表达式(23),从存储在学习数据存储器53中
的学生数据中获取相应教师数据的预测值,并获取那个预测值的预测误差(有
关存储在学习数据存储器53中的教师数据的误差)的、由表达式(26)表示
的平方误差之和。并且,判断控制单元56获取将平方误差和除以例如存储在
学习数据存储器53中的学习对的数量的归一化误差,然后流程转到步骤S78。
在步骤S78中,判断控制单元56判断归一化误差是否大于(等于或大于)
预定阈值S1。在步骤S78中做出归一化误差大于预定阈值S1的判断的情况
下,即在通过参数控制数据a1到aN定义的表达式(23)中的线性表达式不精
确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的
情况下,流程转到步骤S79,判断控制单元56把代表自动模式的自动模式数
据作为参数控制数据供应给以覆盖的形式存储它的参数控制数据存储器57。
然后流程返回到步骤S71,并且接着,重复相同的处理。
因此,即使在可以获得参数控制数据a1到aN的情况下,也可以在通过参
数控制数据a1到aN定义的表达式(23)不精确地接近存储在学习数据存储器
53中的学生数据和教师数据之间的关系的情况下,以与不存在获取参数控制
数据a1到aN的足够学习信息的情况相同的方式,使根据输入信号的方差由输
入可靠度获得的权重用于输入信号x(t)的纠正。
另一方面,在步骤S78中做出归一化误差不大于预定阈值S1的判断的情
况下,即在通过参数控制数据a1到aN定义的表达式(23)中的线性表达式精
确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的
情况下,流程转到步骤S80,判断控制单元56获取由在参数控制数据计算单
元54上获得的参数控制数据a1到aN定义的表达式(23)的面(线)和由存
储在学习数据存储器53中的最新教师数据和学生数据所规定的点之间的误
差(距离)ε。
然后流程转到步骤S81,在步骤S81中,判断控制单元56判断误差ε的
幅度是否大于(等于或大于)预定阈值S2,并且在做出这个误差ε的幅度不
是大于的判断的情况下,跳过步骤S82,流程转到步骤S83,判断控制单元
56把在步骤S76中获得的参数控制数据a1到aN输出到参数控制数据存储器
57。参数控制数据存储器57以覆盖的形式存储来自判断控制单元56的参数
控制数据a1到aN,然后流程返回到步骤S71,并且接着,重复相同的处理。
另一方面,在步骤S81中做出误差ε的幅度大于预定阈值S2的情况下,
流程转到步骤S82,在步骤S82中,判断控制单元56控制参数控制数据计算
单元54,只利用存储在学习数据存储器53中的最新教师数据和学生数据,
重新计算参数控制数据a1到aN。然后流程转到步骤S83,在步骤S83中,判
断控制单元56把在步骤S82中获得的参数控制数据a1到aN输出到以覆盖的
形式存储它的参数控制数据存储器57,然后流程返回到步骤S71。
也就是说,在如图13所示的实施例中,也以与图8中的实施例相同的方
式,在步骤S82中获得由从到目前为止提供的教师数据和学生数据中获得的
参数控制数据a1到aN定义的表达式(23)定义的面与通过最新教师数据和学
生数据规定的点之间的误差ε。
在误差ε的幅度不大于预定阈值S2的情况下,可以认为通过在步骤S76
中获得的参数控制数据a1到aN定义的表达式(23)定义的面相对精确地接近
包括通过最新教师数据和学生数据规定的点在内、到目前为此提供的学生数
据和教师数据规定的所有点,因此,把这个参数控制数据a1到aN存储在参数
控制数据存储器57中。
另一方面,在误差ε的幅度大于预定阈值S2的情况下,可以认为通过在
步骤S76中获得的参数控制数据a1到aN定义的表达式(23)的面相当大地偏
离通过最新教师数据和学生数据规定的点,因此,判断控制单元56控制参数
控制数据计算单元54,以便在步骤S82中,只利用存储在学习数据存储器53
中的最新教师数据和学生数据,重新计算参数控制数据a1到aN。
对于如图10所示的NR电路,输入可靠度αx(t)是在输入可靠度计算单元
61上按照表达式(22)从如上所述获得的参数控制数据a1到aN计算的。
因此,在这种情况下,也可以根据按照用户的操作供应的学习操作信号,
进行在表达式(22)中规定输入可靠度αx(t)的参数控制数据a1到aN的学习,
因此,无需用户知道就可以学习用户所作的操作,并且可以利用学习的结果
进行最适合用户的处理。
此外,对于如图10所示的NR电路,与图4中的NR电路一样,一旦用
户操作操作单元2,操作信号处理单元50就输出代表与其操作相对应的操作
信号的权重,选择单元41选择权重,并且将其供应给纠正单元21。在这种
情况下,在纠正单元21上,利用与用户操作相对应的权重进行如表达式(8)
所表示的纠正处理。在要通过用户操作改变表达式(8)中的权重w(t)的情况
下,表达式(8)所表示的处理(纠正处理)的内容也理所当然地发生改变,
对于如图10所示的NR电路,“处理的内容”随用户所作的操作而改变,使得
获取用户所需的输出信号。
并且对于如图10所示的NR电路,在不能获得参数控制数据a1到aN的
情况下,或者,在可以获得这个参数控制数据a1到aN,但是,通过参数控制
数据a1到aN定义的表达式(23)不精确地接近存储在学习数据存储器53中
的学生数据和教师数据之间的关系的情况下,根据输入信号的方差从输入可
靠度中获得的权重用于纠正单元21上的纠正处理。另一方面,在获得参数控
制数据a1到aN,并且通过参数控制数据a1到aN定义的表达式(23)精确地
接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况
下,按照通过利用根据用户对操作单元2的操作获得的学习对进行学习获得
的参数控制数据a1到aN所定义的表达式(23),使从输入信号和参数控制数
据a1到aN(而不是从中计算出来的输入可靠度)和输出可靠度中获得的权重
用于纠正单元21上的纠正处理。
也就是说,对于如图10所示的NR电路,与图4中的NR电路一样,计
算要用于纠正处理的权重的算法在没有获得足够数量的学习对或能够进行高
精度接近的学习对的情况,和获得能够进行高精度接近的学习对的情况之间
进行改变。
因此,对于如图10所示的NR电路,“处理的内容”以及“处理的结构”也
随用户操作而发生改变,从而,输出用户所需的输出信号。
现在,在上面的情况中,参数控制数据a1到aN是利用作为学生数据的输
出可靠度αy(t-1)获得的,以及如表达式(5)所示,这个输出可靠度αy(t-1)是从输
入可靠度αx(t-1)中获得的。通过进行如图13所示的控制数据学习处理,向着用
户所需的权重的获得,输入可靠度αx(t)逐渐得到提高,因此,输出可靠度αy(t-1)
也与之一起得到提高。
此外,对于如上所述的情况,把输出可靠度设置在已知值上,和通过参
数控制数据a1到aN规定输入可靠度,从而获得可以得出用户所需的权重的参
数控制数据a1到aN,但是,也可以与此相反,做出这样的安排,把输入可靠
度设置在已知值上,和通过参数控制数据a1到aN规定输出可靠度,从而获得
可以得出用户所需的权重的参数控制数据a1到aN。
并且,可以做出这样的安排,例如,把输出可靠度设置在已知值上,通
过参数控制数据a1到aN规定输入可靠度,从而可以获得得出用户所需的权重
的参数控制数据a1到aN,进一步使通过参数控制数据a1到aN获得的输入可
靠度变成已知值,并且通过参数控制数据a1′到aN′规定输出可靠度,从而可以
获得得出用户所需的权重的参数控制数据a1到aN,即可以获得两组参数控制
数据a1到aN和a1′到aN′。
此外,在如上所述的情况中,已经对如表达式(6)所示,被定义成获取
参数控制数据a1到aN的输入可靠度αx(t)和输出可靠度αy(t-1)作了描述,但是,
除此之外,可以做出如例如表达式(31)所示那样的安排,其中,除了输入
可靠度αx(t)和输出可靠度αy(t-1)之外,还利用输入可靠度αx(t)和输出可靠度αy(t-1)
的修正项Δα定义权重,以便能够获得参数控制数据a1到aN和修正项Δα。
[表达式31]
w ( t ) = α y ( t - 1 ) + Δα α y ( t - 1 ) + Δα + α x ( t ) · · · ( 31 ) ]]>
并且,通过参数控制数据定义输入可靠度的表达式不限于表达式(22)。
并且,图14显示了如图1所示的优化设备的第2详细配置例。如图14
所示的优化设备1被配置成含有新配备在其中的内部信息生成单元71,而处
理单元11的配置与图2中的配置相同,因此,省略对它的描述。此外,对于
如图14所示的实施例,把显示单元8配备在优化设备1的外部。
内部信息生成单元71读出处理单元11的内部信息,将其转换成图像信
息,然后把图像信息输出到由LCD(液晶显示器)或CRT(阴极射线管)构
成的显示单元81,和在由LCD(液晶显示器)或CRT(阴极射线管)构成的
显示单元81上显示(呈现)图像信息。更具体地说,显示单元81可以被安
排成按原样数字显示内部信息,或者,可以形成其中放置了电平计(level
gauge)那样的显示器,电平计随内部信息的值而变动。此外,显示单元81
不限于这种,只要可视化显示(呈现)内部信息,它可以是任何其它显示方
法。现在,对于内部信息,可以应用存储在纠正单元21的权重存储器31和
32中的权重和学习单元22的学习数据存储器53或学习信息存储器55的存
储内容等。此外,可以利用除了显示之外的其它呈现(提供)方法例如通过
声音等向用户呈现内部信息。
接着,参照如图15所示的流程图,描述如图14所示的NR设备的优化
处理。这个处理基本上与参照图3中的流程图所述的优化处理相同,不同之
处在于,加入了显示来自内部信息生成单元71的内部信息的处理。也就是说,
在步骤S91到S101中进行与步骤S1到S11中的处理相同的处理,然后流程
转到步骤S102。
在步骤S102中,在显示单元81上显示权重W。也就是说,内部信息生
成单元71读出存储在例如权重存储器31中的权重W的值,将其转换成可以
显示在显示单元81上的图像信号,并且输出到显示单元81,从而显示(呈
现)权重W,然后流程返回到步骤S91。
由于参照如图15所示的流程图的处理,向用户显示(呈现)与实际上在
处理单元11中执行的处理有关的用作内部信息的权重W,因此,用户可以操
作操作单元2,以便在观看内部信息的显示的同时,获取最佳输出信号。请
注意,对于内部信息生成单元71,除了如上所述像权重那样的内部信息之外,
例如,可以从学习单元22中的参数控制数据存储器37(图4,图10)中读
出参数控制数据a和b,并且显示它。此外,可以做出生成图像信息作为内部
信息的安排,这表示选择单元41(图4、图10)选择的权重是从利用学习对
进行学习获得的参数控制数据a和b中获取的权重,或从输入可靠度和输出
可靠度中获得的权重。
接着,图16显示了如图1所示的应用优化设备1的、用于汽车的自动驱
动设备的实施例的配置例。
借助于自动驱动设备,获得汽车的位置坐标(X,Y)和驱动方向θ,并
且根据预定路线驱动汽车。但是,在利用自动驱动设备获得的位置坐标(X,
Y)和驱动方向θ中往往存在着误差,并且在这种情况下,汽车可能偏离预定
路线。因此,借助于如图16所示的自动驱动设备,无需用户知道,就可以学
习用户的操作,并且根据学习结果,使汽车沿着预定路线驱动。也就是说,
在汽车偏离预定路线的情况下,一般说来,用户将操作方向盘或汽油踏板(gas
pedal),使汽车沿着预定路线行驶。因此,如图16所示的自动驱动设备起控
制的作用,以便无需用户知道,就可以学习用户的操作,并且根据学习结果,
使汽车逐渐沿着预定路线驱动。
陀螺传感器91检测汽车的偏航率(yaw rate)r并且将其供给计算单元
93。车轮脉冲发生器92把与汽车的车轮的旋转角相对应的数字的电脉冲供应
给计算单元93。
计算单元93按照例如下列表达式,从陀螺传感器91和车轮脉冲发生器
92的输出中计算汽车的位置坐标(X,Y)和驱动方向θ,并且将其供应给优
化设备94。
[表达式32]
θ=θ(0)+∫rdt
X=X(0)+∫Vrcos(θ+β)dt
Y=Y(0)+∫Vrsin(θ+β)dt ...(32)
请注意,在表达式(32)中,θ(0)代表在开始驱动的时候汽车的方向,和
(X(0),Y(0))代表在开始驱动的时候汽车的坐标。此外,θ(0)和(X(0),Y(0))
可以利用未示出的GPS(全球定位系统)等获得。并且,Vr代表汽车的驱动
速度,和β代表汽车的重心的偏角(slip angle)。
现在,如何获取如上所述的汽车的坐标(X,Y)和驱动方向θ公开在例
如日本待审专利申请公布第10-69219号中。
优化设备94被配置成含有处理单元101,学习用户利用操作单元98做
出的操作,即根据用户操作操作单元98供应的操作信号进行学习,从计算单
元93纠正坐标(X,Y)和驱动方向θ,以便根据学习结果进行用户希望的驱
动,并且将其供应给自动驱动控制单元95。
自动驱动控制单元95存储地图数据和为自动驱动事先设置好的路线(下
文可以称为既定路线)。自动驱动控制单元95从优化设备94的处理单元101
供应的坐标(X,Y)和驱动方向θ中识别汽车的当前位置和驱动方向,生成
控制如后所述的驱动单元97的控制信号,以便汽车沿着既定路线驱动,并且
将其输出到选择单元96。
把来自自动驱动控制单元95的控制信号供应给选择单元96,并且还把
来自操作单元98的操作信号供应给它。在来自自动驱动控制单元95的控制
信号和来自操作单元98的操作信号当中,选择单元96选择优先级较高的操
作信号,并且把这些操作信号输出到驱动单元97,也就是说,选择单元96
通常选择来自自动驱动控制单元95的控制信号,并且把这些控制信号输出到
驱动单元97,但是,一旦接收到来自操作单元98的操作信号,在接收到操
作信号的同时停止输出来自自动驱动控制单元95的控制信号,并且把来自操
作单元98的操作信号输出到驱动单元97。
驱动单元97按照来自选择单元96的控制信号或操作信号,驱动汽车中
需要驱动的机构,譬如,未示出的引擎、车轮、车刹、离合器等。操作单元
98被配置成包括例如方向盘、汽油踏板、车刹踏板、离合器踏板等,并且把
与用户所作的操作相对应的操作信号供应给优化设备94和选择单元96。
对于如上所述配置的自动驱动设备,在计算单元93上,从陀螺传感器
91和车轮脉冲发生器92的输出中计算汽车的当前坐标(X,Y)和驱动方向
θ,并且通过优化设备94的处理单元101将它们供应给自动驱动控制单元95。
自动驱动控制单元95从供应给它的坐标(X,Y)和驱动方向θ中识别汽车的
当前位置和驱动方向,生成控制如后所述的驱动单元97的控制信号,以便汽
车沿着既定路线驱动,并且通过选择单元96把这些控制信号供应给驱动单元
97。因此,汽车按照自动驱动控制单元95输出的控制信号进行自动驱动。
另一方面,一旦用户操作操作单元98,通过选择单元96把与其操作的
相对应操作信号供应给驱动单元97,从而,汽车按照用户在操作单元98上
所作的操作驱动。
并且,由于用户操作操作单元98,还把操作单元98输出的操作信号供
应给优化设备94的处理单元101。优化设备94根据用户操作操作单元98供
应的操作信号,进行学习。一旦用户停止操作操作单元98,优化设备94的
处理单元101然后对计算单元93供应的坐标(X,Y)和驱动方向θ加以纠正,
以便根据学习结果,像用户所希望的驱动那样,沿着既定路线进行驱动,并
且将其供应给自动驱动控制单元95。
接着,图17显示了如图16所示的优化设备94的处理单元101的配置例。
在该图中,与如图4所示的处理单元11相对应的部分用相同的标号表示,并
且在下文中适当地省略对它们的描述。也就是说,除了没有配备选择单元41,
配备操作信号处理单元110和教师数据生成单元111分别取代操作信号处理
单元50和教师数据生成单元51之外,如图17所示的处理单元101被配置成
基本上与如图4所示的处理单元11相同。
现在,为了便于下文中的描述,在从计算单元93供应到优化设备94的
处理单元101的坐标(X,Y)和驱动方向θ当中,只对考虑驱动方向θ加以描
述。但是,坐标(X,Y)可能与现在要描述的驱动方向θ经受相同的处理。
操作信号处理单元110接收来自操作单元94的操作信号,并且判断这些
操作信号是否是学习操作信号。在操作信号是学习操作信号的情况下,操作
信号处理单元110然后把带有那种意思的消息供应给学生数据生成单元52和
教师数据生成单元111。
教师数据生成单元111被安排成把带有操作信号是学习操作信号那种意
思的消息(下文可以称之为学习消息)从操作信号处理单元110供应给它,
并且还被安排成把驱动方向θ作为输入信号从计算单元93供应给它。并且,
还把来自计算单元93的已经经过纠正的驱动方向θ(下文可以称之为纠正驱
动方向)供应给教师数据生成单元111,作为从纠正单元21(计算设备36)
输出的输出信号。教师数据生成单元111从用作在接收学习消息的时候供应
的输入信号的驱动方向θ和作为教师数据供应给学习数据存储器53的、用作
输出信号的纠正驱动方向、获得与学习操作信号相对应的权重W。
也就是说,在这种情况下,有必要获取在用户操作作为方向盘的操作单
元98之后,汽车沿着预定方向出发的那一点的权重W,作为教师数据,以便
汽车沿着预定方向出发。也就是说,有必要把用于纠正正好在用户操作用作
方向盘的操作单元98和汽车沿着预定方向出发之后的、指示驱动方向θ的输
入信号x(t)的权重用作教师数据。按照表达式(8),通过加权相加输入信号
x(t)和正好在操作操作单元98之前输出的输出信号y(t-1),把正好在操作单元
98的操作之后的输入信号x(t)纠正成正好在操作操作单元98之后的输出信号
y(t),从而,可以按照表达式(8),从正好在操作单元98的操作之后的输入
信号x(t)、正好在操作操作单元98之后的输出信号y(t)和正好在操作操作单
元98之前输出的输出信号y(t-1)中获得用于纠正正好在操作单元98的操作之
后的输入信号x(t)的权重W。因此,教师数据生成单元111从正好在学习消
息的接收之后供应的用作输入信号x(t)的驱动方向θ和作为正好分别在学习消
息的接收之前和之后供应的输出信号y(t-1)和y(t)的纠正驱动方向中获取权重
W,并且将其供应给学习数据存储器53。
此外,一旦接收到学习消息,学生数据生成单元52就把从作为正好在那
个时刻之前供应的输入信号的驱动方向中获得的权重w供应给学习数据存储
器53,作为学生数据。也就是说,正如参照图4所述的那样,以与输入可靠
度计算单元42、输出可靠度计算单元43、锁存电路44和权重计算单元45相
同的方式配置学生数据生成单元52,并且学生数据生成单元52计算作为供
应给它的输入信号的驱动方向的权重w(在权重计算单元45中获得的相同权
重w),并且把正好在接收学习消息之前计算的权重w供应给学习数据存储器
53,作为学生数据。
因此,在参数控制数据计算单元54上,把用户操作操作单元98和驱动
方向变成用户希望的方向那一时刻的权重W取作教师数据,把与权重计算单
元45正好在用户操作操作单元98之前输出的那个相同的权重w取作学生数
据,并且进行表达式(20)和(21)所示的参数控制数据a和b的计算。
然后在权重纠正单元46上,按照表达式(13),利用参数控制数据a和b
纠正在权重计算单元45上获得的权重w,并且将其供应给纠正单元21。
其结果是,参数控制数据a和b用于纠正在权重计算单元45上获得的权
重w,以便把正好在用户操作操作单元98之前的驱动方向纠正成正好在用户
操作操作单元98之后的驱动方向,因此,汽车沿着既定路线进行自动驱动。
也就是说,可以认为,由于陀螺传感器91中的误差或其输出中的噪声、
计算单元93中的计算误差等,用户操作操作单元98的事实意味着计算单元
93输出的驱动方向θ包含误差,因而不代表汽车的真正驱动方向,因此,汽
车的实际驱动方向已经偏离了既定路线。并且可以认为,在这种情况下最终
用户对操作单元98所作的操作是把汽车的实际驱动方向改变成沿着既定路
线的方向。因此,通过进行学习,其中把用户操作操作单元98和汽车的实际
驱动方向沿着既定路线那一时刻的权重W取作教师数据,并且把正好在用户
操作操作单元98之前在权重计算单元45上获得的权重w,即在偏离既定路
线的状态下权重计算单元45输出的权重w取作学生数据,从而获得用于纠
正表达式(6)中的权重的表达式(13)的参数控制数据a和b,以便把在偏
离既定路线的状态下的驱动方向纠正成沿着既定路线的方向。
接着,对如图17所示的优化设备94的处理单元101加以描述。现在,
与如图4所示的NR电路的处理单元11一样,如图17所示的优化设备94的
处理单元101通过纠正作为输入信号x(t)的计算单元93输出的驱动方向θ的
纠正处理,进行获取用于控制(纠正)用作纠正参数的权重的参数控制数据
的控制数据学习处理,获取用作纠正参数的权重的纠正参数计算处理要用于
其纠正处理和用户对操作单元98(图16)的操作,但是,纠正处理与参照图
7已经描述过的、由如图4所示的NR电路进行的纠正处理相同,因此,这里
将描述如图17所示的优化设备94的处理单元101进行的纠正参数计算处理
和学生数据学习处理。
首先,参照图18所示的流程图描述如图17所示的优化设备94的处理单
元101进行的纠正参数计算处理。
在纠正参数计算处理中,首先,在步骤S111中,输入可靠度计算单元
42以与图7中的步骤S31相同的方式,根据用作输入信号的、来自计算单元
93(图16)的驱动方向θ的方差,获取输入可靠度αx(t),并且将其供应给输出
可靠度计算单元43和权重计算单元45。
随后,流程转到步骤S112,在步骤S112中,权重计算单元45利用来自
输入可靠度计算单元42的输入可靠度αx(t),按照表达式(6)获取供应给权重
纠正单元46的权重w(t),然后流程转到步骤S113。
在步骤S113中,权重纠正单元46从参数控制数据存储器57读出参数控
制数据,然后流程转到步骤S114。在步骤S114中,权重纠正单元46判断从
参数控制数据存储器57中读出的参数控制数据是否是代表权重w(t)没有得到
纠正的模式的自动模式数据,即在所述模式(自动模式)中,在权重计算单
元45上可以说从输入可靠度和输出可靠度中自动获得的权重w(t)是用于与用
户对操作单元98(图16)的操作无关、没有任何改变地纠正输入信号x(t)的
权重W。
在步骤S114中做出参数控制数据不是自动模式数据的判断的情况下,流
程转到步骤S115,在步骤S115中,权重纠正单元46按照通过参数控制数据
存储器57供应的参数控制数据a和b定义的表达式(13)中的线性表达式,
纠正权重计算单元45供应的权重w(t),然后转到步骤S116。在步骤S116中,
权重纠正单元46把纠正后的权重供应给纠正单元21,作为纠正参数,然后
流程转到步骤S117。
另一方面,在步骤S114中做出参数控制数据是自动模式数据的判断的情
况下,跳过步骤S115,流程转到步骤S116,在步骤S116中,权重纠正单元
46没有改变地把权重w(t)从权重计算单元45供应到纠正单元21,作为纠正
参数,然后流程转到步骤S117。
在步骤S117中,输出可靠度计算单元43更新输出可靠度。也就是说,
输出可靠度计算单元43按照表达式(5),相加输入可靠度计算单元42在前
面步骤S111中计算的输入可靠度αx(t)和锁存电路44已经锁存的来自前一个样
本的输出可靠度αy(t-1),从而获得以覆盖的形式存储在锁存电路44中的当前输
出可靠度αy(t)。
在步骤S117中的处理之后,流程返回到步骤S111,并且接着,重复相
同的处理。
如上所述,对于如图18所示的纠正参数计算处理,在处在自动模式下的
情况中,与操作单元98的操作无关地从输入可靠度和输出可靠度中获得要用
于纠正处理的权重,而在没有处在自动模式下的情况中,利用根据操作单元
98的操作,在如后所述的图19中的控制数据学习处理中通过学习获得的参
数控制数据获得要用于纠正处理的权重。
接着,参照如图19所示的流程图,对如图17所示的优化设备94的处理
单元101进行的控制数据学习处理加以描述。
对于控制数据学习处理,首先,在步骤S131中,操作信号处理单元110
判断是否已经从操作单元98(图16)接收到学习操作信号,并且在做出还没
有接收到信号的判断的情况下,流程返回到步骤S101。
此外,在步骤S101中做出已经从操作单元98接收到学习操作信号的判
断的情况下,即在开始对例如作为操作单元98的方向盘等进行操作,在此之
后,还没有经过第1时间t1或更长,在第2时间t2或更长内继续进行操作,
在此之后,在第3时间t3或更长内持续停止其操作的情况下,或者,在开始
对作为操作单元98的方向盘进行操作之后,在第3时间t3或更长内持续停
止其操作的情况,使得可以做出用户已经操作了作为操作单元98的方向盘,
把汽车引向所需方向的判断的情况下,流程转到步骤S132,在步骤S132中,
教师数据生成单元111生成教师数据,而学生数据生成单元52生成学生数据。
也就是说,根据已经接收到学习操作信号的判断,操作信号处理单元110
将学习消息供应给教师数据生成单元111和学生数据生成单元52。一旦接收
到来自操作信号处理单元110的学习消息,在步骤S132中,教师数据生成单
元111从计算单元93供应的作为输入信号的驱动方向θ和作为纠正单元21(计
算设备36)输出的输出信号的、来自计算单元93(纠正驱动方向)的纠正驱
动方向θ中获取与学习操作信号相对应的权重W。
具体地说,教师数据生成单元111接收代表来自计算单元93(图16)、
正好在用户操作用作方向盘的操作单元98和汽车沿着所需方向出发之后的
驱动方向θ的输入信号x(t)。并且,教师数据生成单元111被安排成保存纠正
单元21输出的当前输出信号y(t)和前一个定时的输出信号y(t-1),即正好在
操作操作单元98之前的输出信号y(t-1),并且按照表达式(8),利用输入信
号x(t)和输出信号y(t)和y(t-1),在把学习操作信号(与学习操作信号相对应
的权重)提供给它的时候,获取用在纠正单元21上的权重W。
请注意,在这种情况下,为了便于描述,认为用户对作为操作单元98的
方向盘的操作是在从t-1到t的一个定时内瞬时完成的。
教师数据生成单元111像上述那样,获取与学习操作信号相对应的权重
W,然后把权重W供应给学习数据存储器53,作为教师数据。
并且在步骤S132中,已经从操作信号处理单元110接收到学习消息的学
生数据生成单元52向学习数据存储器53供应与利用从计算单元93(图16)
供应的作为输入信号的驱动方向获得的输入可靠度和输出可靠度而计算的、
权重计算单元45输出的权重相同的权重w,作为学生数据。
因此,把学习对供应给学习数据存储器53,其中,把通过用户操作操作
单元98使汽车的实际驱动方向变成用户所希望的方向那一时刻用在纠正单
元21上的权重W取作教师数据,并且把从输入可靠度和正好在用户操作操
作单元98之前的输出可靠度获得的权重w取作学生数据。
一旦接收到来自教师数据生成单元111的教师数据W和来自学生数据生
成单元52的学生数据w,学习数据存储器53在步骤S133中存储该组最新教
师数据W和学生数据w,然后流程转到步骤S134。
在步骤S134中,参数控制数据计算单元54以与图8中的步骤S44相同
的方式,对存储在学习数据存储器53中的最新教师数据和学生数据和对存储
在学习信息存储器55中的学习信息进行与最小二乘有关的加入。并且在步骤
S134中,参数控制数据计算单元54以覆盖学习信息存储器55的形式存储加
入结果作为学习信息,然后流程转到步骤S135。
在步骤S135中,与图8中的步骤S45中的情况一样,参数控制数据计算
单元54判断是否可以利用表达式(20)和(21),从用作学习信息存储在学
习信息存储器55中的加入结果中获得参数控制数据a和b。
在步骤S135中做出不可获取参数控制数据a和b的判断的情况下,参数
控制数据计算单元54把带有那种意思的信息供应给判断控制单元56,然后
流程转到步骤S139。在步骤S139中,判断控制单元56把代表自动模式的自
动模式数据供应给将其存储成参数控制数据的参数控制数据存储器57。然后
流程返回到步骤S131,并且接着,重复相同的处理。
因此,在不存在可以获取参数控制数据a和b的足够学习信息的情况下,
在权重计算单元45(图17)上从输入可靠度和输出可靠度中自动获得的权重
w(t)没有改变地用于输入信号x(t)的纠正。
另一方面,在步骤S135中做出可以获得参数控制数据a和b的判断的情
况下,流程转到步骤S136,在步骤S136中,参数控制数据计算单元54利用
学习信息计算表达式(20)和(21),从而获得供应给判断控制单元56的参
数控制数据a和b,然后流程转到步骤S137。
在步骤S137中,判断控制单元56按照来自参数控制数据计算单元54的
参数控制数据a和b所定义的表达式(13)中的线性表达式,从存储在学习
数据存储器53中的学生数据中获取相应教师数据的预测值,并且获取用于那
个预测值的预测误差(有关存储在学习数据存储器53中的教师数据的误差)
的表达式(15)所表示的平方误差之和。并且,判断控制单元56获取将平方
误差之和除以例如存储在学习数据存储器53中的学习对的数量的归一化误
差,然后流程转到步骤S138。
在步骤S138中,判断控制单元56判断归一化误差是否大于(等于或大
于)预定阈值S1。在步骤S138中做出归一化误差大于预定阈值S1的判断的
情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式
不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关
系的情况下,流程转到步骤S139,在步骤S139中,判断控制单元56像如上
所述的那样,把代表自动模式的自动模式数据作为参数控制数据供应给存储
它的参数控制数据存储器57。然后流程返回到步骤S131,并且接着,重复相
同的处理。
因此,即使在可以获得参数控制数据a和b的情况下,在通过参数控制
数据a和b定义的表达式(13)中的线性表达式不精确地接近存储在学习数
据存储器53中的学生数据和教师数据之间的关系的情况下,也以与不存在获
取参数控制数据a和b的足够学习信息的情况相同的方式,使从输入可靠度
和输出可靠度中自动获得的权重w(t)用于纠正输入信号x(t)。
另一方面,在步骤S138中做出归一化误差不大于预定阈值S1的判断的
情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式
精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系
的情况下,流程转到步骤S140,在步骤S140中,判断控制单元56获取由来
自参数控制数据计算单元54的参数控制数据a和b所定义的表达式(13)中
的线性表达式所表示的回归线和由存储在学习数据存储器53中的最新教师
数据和学生数据所规定的点之间的误差(距离)ε。
然后流程转到步骤S141,在步骤S141中,判断控制单元56判断误差ε
的幅度是否大于(等于或大于)预定阈值S2,并且在做出没有大于的判断的
情况下,跳过步骤S142,流程转到步骤S143,判断控制单元56把在步骤S136
中获得的参数控制数据a和b输出到参数控制数据存储器57。参数控制数据
存储器57以覆盖的形式存储来自判断控制单元56的参数控制数据a和b,然
后流程返回到步骤S131。
另一方面,在步骤S141中做出误差ε的幅度大于预定阈值S2的情况下,
流程转到步骤S142,在步骤S142中,判断控制单元56控制参数控制数据计
算单元54,以便通过控制参数控制数据计算单元54,只利用存储在学习数据
存储器53中的、从最新教师数据和学生数据的最新学习对算起的预定个过去
学习对(不利用学习信息存储器55中的学习信息),重新计算参数控制数据
a和b。然后流程转到步骤S143,在步骤S143中,判断控制单元56把在步
骤S142中获得的参数控制数据a和b输出到以覆盖的形式存储它的参数控制
数据存储器57,然后流程返回到步骤S131。
因此,在可以获得参数控制数据a和b,并且通过参数控制数据a和b
定义的表达式(13)中的线性表达式精确地接近存储在学习数据存储器53中
的学生数据和教师数据之间的关系的情况下,按照通过利用根据用户对操作
单元2的操作获得的学习对进行学习获得的参数控制数据a和b所定义的表
达式(13),纠正从输入可靠度和输出可靠度中获得的权重w(t),并且把通过
纠正获得的纠正权重W用于纠正输入信号x(t)。
如上所述,对于如图16所示的自动驱动设备,还对响应用户的操作供应
的操作信号是否可以用于学习做出判断,并且在存在可以用于学习的学习操
作信号的情况下,根据学习操作信号学习纠正用于纠正输入信号的权重的参
数控制数据a和b,因此,无需用户知道就可以学习用户的操作,并且因此,
根据学习的结果逐渐进行适合用户的处理,最后,进行最适合用户的处理。
也就是说,随着用户利用操作单元98进行操作,以便把驱动方向纠正成
沿着既定路线,汽车逐渐进行沿着既定路线的自动驱动。
此外,对于如图17所示的优化设备94的处理单元101,也以与如图4
所示的NR电路相同的方式,按照用户在操作单元98上的操作,改变用于在
纠正单元21上进行的纠正处理(图6)的权重W,以便汽车的实际驱动方向
沿着既定路线。也就是说,一旦用户操作操作单元98,使汽车的驱动方向沿
着所需方向,计算单元93(图16)输出的作为输入信号的驱动方向θ就发生
改变,从而,从驱动方向θ中获得的输入可靠度,进而从输入可靠度中获得的
输出可靠度也发生改变。这个输入可靠度和输出可靠度的改变引起在权重计
算单元45上获得的权重发生改变,并且通过权重纠正单元46把这个改变了
的权重供应给纠正单元21。然后在纠正单元21上,利用已经供应的权重进
行表达式(8)所表示的纠正处理。因此,在用户操作操作单元98的情况下,
表达式(8)的权重因用户的操作而改变,然后以与针对图4中的NR电路所
述的情况相同的方式,表达式(8)所表示的处理(纠正处理)的内容也理所
当然地发生改变,因此,可以认为,对于如图17所示的优化设备94的处理
单元101,“处理的内容”也随用户的操作而改变,从而可以获得用户所需的驱
动方向。
并且对于如图17所示的优化设备94的处理单元101,也与图4中NR电
路一样,在用户还没有输入足够的学习对的情况下,或者,在还没有输入借
此可以进行高精度接近的学习对的情况下,从输入可靠度和输出可靠度中自
动获得的权重用于纠正单元21上的纠正处理,并且在已经输入了借此可以进
行高精度接近的学习对的情况下,通过利用学习对进行学习获得的参数控制
数据a和b获得的纠正权重用于纠正单元21上的纠正处理。也就是说,计算
用于纠正处理的权重的算法随没有获得足够数量的学习对或能够进行高精度
接近的学习对的情况,和获得能够进行高精度接近的学习对的情况而改变。
因此,对于如图17所示的优化设备94的处理单元101,也与图4中NR
电路一样,“处理的内容”,进而“处理的结构”也随用户的操作而改变,从而,
汽车在按照既定路线的驱动方向进行自动驱动。
此外,例如,日本待审专利申请公布第7-13625号公开了用于像水稻插
秧机等那样的工作车辆的驱动控制设备,并且对于驱动控制设备,计算自动
操纵状态下控制参数的纠正量,以便缩小用户所作的操作的状态与基于例如
陀螺传感器等的检测结果的信息之间的差异。因此,如图16所示的自动驱动
设备与日本待审专利申请公布第7-13625号所述的驱动控制设备的共同之处
在于,用于自动驱动(自动操纵)的参数的纠正量随用户所作的操作而改变。
但是,关于判断根据用户所作的操作供应的操作信号是否可以用于学习
那一点,和在操作信号是可以用于学习的学习操作信号的情况下,根据学习
操作信号学习纠正用于纠正输入信号的权重的参数控制数据那一点,如图16
所示的自动驱动设备与日本待审专利申请公布第7-13625号所述的驱动控制
设备存在很大差异,日本待审专利申请公布第7-13625号所述的驱动控制设
备只在把切换器手动地切换到手动操纵控制模式的情况下,才计算自动操纵
状态下控制参数的纠正量。
由于存在这样的差异,对于日本待审专利申请公布第7-13625号所述的
驱动控制设备,每当用户感到没有进行适当的自动操纵时,用户必须把切换
器切换到手动操纵控制模式,并且在计算了控制参数的纠正量之后,再次把
切换器切换到自动操纵控制模式,这可能使用户感到非常麻烦。
相反,对于如图16所示的自动驱动设备,对根据用户所作的操作供应的
操作信号是否可以用于学习做出判断,并且在这些操作信号是可以用于学习
的学习操作信号的情况下,改变算法,以便根据学习操作信号学习纠正用于
纠正输入信号的权重的参数控制数据,因此,如上所述,即使用户没有对切
换器进行这样的切换,也可以进行适当的自动驱动。也就是说,无需用户知
道,就可以进行用户所作的操作的学习,其结果是,学习随着用户纠正驱动
方向而继续下去,并且即使用户没有做出操作,汽车也逐渐沿着既定路线驱
动。
并且对于如图16所示的自动驱动设备,处理的结构与用户的操作相对应
地发生改变,因此,关于这一点,也不同于日本待审专利申请公布第7-13625
号所述的驱动控制设备。
接着,图20显示了如图16所示的优化设备94的处理单元101的另一个
配置例。请注意,该图中与如图17所示的情况相对应的部分用相同的标号表
示,并且在下文中适当地省略对它们的描述。
对于如图4和图10所示的NR电路的处理单元11,以及如图17所示的
优化设备94的处理单元11,利用根据用户所作的操作获得的学习对学习控
制纠正参数的参数控制数据,但是,对于如图20所示的处理单元101,利用
根据用户所作的操作获得的学习对学习它们自己的纠正参数。
也就是说,对于如图20所示的实施例,纠正单元21被配置成包括纠正
量计算单元141和计算设备142,和学习单元22被配置成包括学习数据存储
器53、学习信息存储器55、判断控制单元56、操作信号处理单元110、教师
数据生成单元143、学生数据生成单元144、纠正参数计算单元145和纠正参
数存储器146。
把如后所述的纠正参数从学习单元22中的纠正参数存储器146供应到纠
正量计算单元141,纠正量计算单元141利用纠正参数计算纠正作为输入信
号的驱动方向θ的纠正量,并且将其供应给计算设备142。
把来自纠正量计算单元141的纠正量供应给计算设备142,并且还把来
自计算单元93(图16)的、作为输入信号的驱动方向θ供应给它,计算单元
142通过把纠正量加入其中,纠正作为输入信号的驱动方向θ,并且把纠正后
驱动方向(纠正驱动方向)输出到自动驱动控制单元95(图16),作为输出
信号。
教师数据生成单元143把正好在从操作信号处理单元110接收到学习消
息之后供应的作为输入信号的驱动方向供应给学习数据存储器53,作为教师
数据。学生数据生成单元144把正好在从操作信号处理单元130接收到学习
消息之前供应的作为输入信号的驱动方向供应给学习数据存储器53,作为学
生数据。
纠正参数计算单元145通过利用作为存储在学习数据存储器53中的学习
数据的教师数据和学生数据,并且如有必要,利用存储在学习信息存储器55
中的学习信息,计算新学习信息,从而学习使预定统计误差达到最小的纠正
参数,并且在判断控制单元56的控制下,将其供应给判断控制单元56。纠
正参数计算单元145利用通过学习获得的新学习信息,更新学习信息存储器
55的存储内容。
纠正参数存储器146存储判断控制单元56输出的纠正参数。
对于像如上所述那样配置的优化设备94,如下所述那样纠正计算单元93
供应的驱动方向θ。
也就是说,设陀螺传感器91(图16)在时刻t输出的偏航率为r′,在计
算单元93上从其中将r′代替表达式(32)中的r的表达式计算驱动方向。
现在,设包含在陀螺传感器91输出的偏航率r′中的误差为er,真偏航率
为r,陀螺传感器91输出的偏航率r′由下列表达式表示。
[表达式33]
r′=r+er ...(33)
在计算单元93上,根据表达式(32)和(33),从陀螺传感器91输出的
偏航率r′计算的驱动方向θ′如下。
[表达式34]
θ′=θ(0)+∫r′dt
=θ(0)+∫(r+er)dt
=θ(0)+∫rdt+∫erdt ...(34)
因此,由计算单元93获得的驱动方向θ′和从真偏航率r获得的真驱动方
向θ之间的关系像下列表达式所示的那样。
[表达式35]
θ′=θ+∫erdt ...(35)
在包含在陀螺传感器91输出的偏航率r′中的误差er是白色的情况下,正
如下列表达式所示的那样,表达式(35)的右侧第2项从长远来看是0,因
此,不存在任何特殊问题。就眼前来说,表达式(35)的右侧第2项不是0,
但是,对于如图17所示的优化设备94的处理单元101,可以处理这种情况。
[表达式36]
∫erdt=0 ...(36)
但是,在误差er是彩色的情况下,误差er随着时间t的流逝而累积起来,
因此,从计算单元93获得的驱动方向θ′大大地偏离真驱动方向θ。
也就是说,为了简化描述,考虑沿着不变方向直接前进的自动驱动,在
自动驱动控制单元95(图16)上生成如图21中的虚线所示、使从计算单元
93获得的驱动方向θ′保持不变的控制信号。
但是,在包含在从计算单元93获得的驱动方向θ′中的误差er是彩色的情
况下,误差er随着时间t的流逝而累积起来,使得在从计算单元93获得的驱
动方向θ′沿着如图21中的实线所示弯曲的路线时,例如汽车沿着直线一直前
进。
因此,对于如图20所示的优化设备94的处理单元101,根据来自用户
的学习操作信号,为学习用于纠正驱动方向θ′的纠正参数a0,a1,...,aN进行
纠正参数学习处理,使得作为输入信号供应的从计算单元93获得的驱动方向
θ′沿着如图21中的实线所指的路线,并且进行纠正处理,以便利用纠正参数
a0到aN纠正从计算单元93获得的驱动方向θ′。
因此,如图20所示的优化设备94的处理单元101进行的纠正处理和纠
正参数学习处理将参照图22和图23加以描述。虽然图18中的实施例涉及沿
着不变方向的直线前进的自动驱动,但是,如图20所示的优化设备94的处
理单元101可以应用于沿着任意路线的自动驱动。
首先,参照图22中的流程图描述如图20所示的优化设备94的处理单元
101进行的纠正处理。
对于纠正处理,在步骤S151中,纠正量计算单元141利用存储在纠正参
数存储器146中的纠正参数a0到aN计算纠正量。
也就是说,这里,纠正量是借助于例如利用纠正参数a0到aN和作为输入
信号从计算单元93中获得的驱动方向θ′像表达式(37)所示那样表达的真驱
动方向θ计算的。
[表达式37]
θ=θ′+a0+a1t1+a2t2+…+aNtN ...(37)
因此,根据表达式(37),在纠正量计算单元141上计算a0+a1t1+
a2t2+…+aNtN,作为纠正量。把这个纠正量供应给计算单元142。
在步骤S152中,在计算单元142上相加从计算单元93中获得的驱动方
向θ′和纠正量,并且输出它们的相加值(表达式(37)中的θ),作为输出信
号,流程等待要供应的接着的输入信号的样本并且返回到步骤S151,随后,
重复相同的处理。
接着,参照图23中的流程图描述图20中的优化设备94的处理单元101
进行的纠正参数学习处理。
对于纠正参数学习处理,首先,在步骤S161中,操作信号处理单元110
判断是否已经从操作单元98(图16)接收到学习操作信号,并且在做出还没
有接收到这些信号的判断的情况下,流程返回到步骤S161。
此外,在步骤S161中做出已经从操作单元98接收到学习操作信号的判
断的情况下,即在例如开始对操作单元98进行操作,在此之后,还没有经过
第1时间t1或更长,在第2时间t2或更长内继续进行操作,在此之后,在第
3时间t3或更长内持续停止其操作的情况下,或者,在开始对操作单元98进
行操作之后,在第3时间t3或更长内持续停止其操作,使得可以做出用户已
经操作了操作单元98以便把汽车引向所需方向的判断的情况下,流程转到步
骤S162,在步骤S162中,教师数据生成单元143生成教师数据,而学生数
据生成单元144生成学生数据。
也就是说,在接收到学习操作信号的情况下,操作信号处理单元110将
带有那种意思的学习消息供应给教师数据生成单元143和学生数据生成单
144。一旦接收到学习消息,教师数据生成单元143就获取正好在此之后供应
的作为输入信号的驱动方向,作为教师数据,并且将其供应给学习数据存储
器53。
也就是说,在这种情况下,对于教师数据,需要使用按照用户操作作为
方向盘的操作单元98的驱动方向,以便汽车沿着所需方向出发。因此,教师
数据生成单元143把在接收学习消息之后供应的作为输入信号的驱动方向θ
作为教师数据供应给学习数据存储器53。
此外,一旦接收到学习消息,学生数据生成单元52把正好在此之前供应
的作为输入信号的驱动方向,即正好在汽车沿着所需方向出发之前的驱动方
向作为学生数据供应给学习数据存储器53。
在此之后,流程转到步骤S163,在步骤S163中,学习数据存储器53存
储该组来自教师数据生成单元51的教师数据和学生数据,然后流程转到步骤
S164。
在步骤S164中,由纠正参数计算单元145对教师数据和学生数据进行与
对表达式(22)到(30)所述相同的最小二乘相加。
请注意,在步骤S164中的加入是以与如上所述相同的方式,利用作为学
习信息存储在学习信息存储器55中的前相加结果进行的。此外,这里,进行
相加是为了像表达式(37)中的θ′那样,获取使教师数据的预测值的平方误差
之和达到最小的纠正参数a0到aN,像利用学生数据和对应教师数据计算的表
达式(37)中的θ那样。
在步骤S164中的相加之后,纠正参数计算单元145以覆盖学习信息存储
器55的形式存储作为学习信息的加入结果,然后流程转到步骤S165。
在步骤S165中,对纠正参数计算单元145是否可以从存储在学习信息存
储器55中用作学习信息的相加结果获得纠正参数a1到aN做出判断。
在步骤S165中做出不能获取纠正参数a1到aN的判断的情况下,纠正参
数计算单元145把带有那种意思的信息供应给判断控制单元56,然后流程转
到步骤S169。在步骤S169中,判断控制单元56把代表禁止纠正的禁用数据
作为纠正参数供应和存储到纠正参数存储器146。然后流程返回到步骤S161,
并且接着,重复相同的处理。
因此,在不存在获取纠正参数a1到aN的足够学习信息的情况下,在纠正
单元21上不进行输入信号的纠正。也就是说,输入信号的纠正量是0。
另一方面,在步骤S165中做出可以获得纠正参数的判断的情况下,流程
转到步骤S166,在步骤S166中,纠正参数计算单元145利用学习信息获得
纠正参数a0到aN,把这些纠正参数a0到aN供应给判断控制单元56,然后流
程转到步骤S167。
在步骤S167中,判断控制单元56按照来自纠正参数计算单元145的参
数控制数据a1到aN所定义的表达式(37),从存储在学习数据存储器53中的
每个学生数据中获取相应教师数据的预测值,和获取与那个预测值的预测误
差(有关存储在学习数据存储器53中的教师数据的误差)的平方和。并且,
判断控制单元56获取将其预测误差的平方和除以例如存储在学习数据存储
器53中的学习对的数量的归一化误差,然后流程转到步骤S168。
在步骤S168中,判断控制单元56判断归一化误差是否大于(等于或大
于)预定阈值S1。在步骤S168中做出归一化误差大于预定阈值S1的判断的
情况下,即在通过纠正参数a1到aN定义的表达式(37)的线性表达式不精确
地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情
况下,流程转到步骤S169,在步骤S169中,判断控制单元56像如上所述的
那样,向纠正参数存储器146供应和存储禁用数据,作为纠正参数。然后流
程返回到步骤S161,并且接着,重复相同的处理。
因此,即使在可以获得纠正参数a1到aN的情况下,在通过纠正参数a1
到aN定义的表达式(37)不精确地接近存储在学习数据存储器53中的学生
数据和教师数据之间的关系的情况下,也以与不存在获取纠正参数a1到aN的
足够学习信息的情况相同的方式,使输入信号x(t)的纠正量是0。
另一方面,在步骤S168中做出归一化误差不大于预定阈值S1的判断的
情况下,即在通过纠正参数a1到aN定义的表达式(37)的线性表达式精确地
接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况
下,流程转到步骤S170,在步骤S170中,判断控制单元56获取由来自纠正
参数计算单元145的纠正参数a0到aN所定义的表达式(37)的面和由存储在
学习数据存储器53中的最新教师数据和学生数据所规定的点之间的误差ε。
然后流程转到步骤S171,在步骤S171中,判断控制单元56判断误差ε
的幅度是否大于(等于或大于)预定阈值S2,并且在做出没有大于的判断的
情况下,跳过步骤S172,流程转到步骤S173,在步骤S173中,判断控制单
元56把在步骤S166中获得的纠正参数a0到aN输出到纠正参数存储器146。
在这种情况下,纠正参数存储器146以覆盖的形式存储来自判断控制单元56
的纠正参数a0到aN,然后流程返回到步骤S161。
另一方面,在步骤S171中做出误差ε的幅度大于预定阈值S2的情况下,
流程转到步骤S172,在步骤S172中,判断控制单元56控制纠正参数计算单
元145,只利用存储在学习数据存储器53中的最新教师数据和学生数据,重
新计算纠正参数a0到aN。然后流程转到步骤S173,在步骤S173中,判断控
制单元56把在步骤S172中获得的纠正参数a0到aN输出到参数控制单元数据
存储器37,以覆盖的形式存储,然后流程返回到步骤S161。
也就是说,对于如图23中的实施例,也以与图8中的实施例相同的方式,
在步骤S170中,在从到目前为止提供的教师数据和学生数据获得的纠正参数
a0到aN所定义的表达式(37)定义的面和由最新教师数据和学生数据所规定
的点之间获得误差ε。
在误差ε的幅度不大于预定阈值S2的情况下,在步骤S166中获得的纠正
参数a0到aN所定义的表达式(37)的面被认为相对精确地接近包括由最新教
师数据和学生数据所规定的点在内的、由到目前为止提供的教师数据和学生
数据所规定的点,因此,在纠正参数存储器146中存储纠正参数a0到aN。
另一方面,在误差ε的幅度大于预定阈值S2的情况下,由最新教师数据
和学生数据所规定的点被认为相当大地偏离在步骤S166中获得的纠正参数
a0到aN所定义的表达式(37)的面,因此,在步骤S172中,判断控制单元
56只利用存储在学习数据存储器53中的最新教师数据和学生数据重新计算
纠正参数a0到aN。
因此,在这种情况下,也根据按照用户所作的操作供应的学习操作信号,
为表达式(37)的纠正参数a0到aN进行学习,从而,无需用户知道,就可以
学习用户的操作,并且可以利用学习结果进行最适合用户的处理。
并且,在这种情况下,在包含在计算单元93(图16)输出的行进方向中
的误差是彩色的情况下,可以使汽车沿着预定设定路线进行自动驱动。
此外,对于图20中的优化设备94的处理单元101,改变用在纠正单元
21上进行的纠正处理(图6)中的纠正参数,以便在用户在操作单元98上进
行操作之后,汽车的实际驱动方向沿着既定路线。也就是说,一旦用户操作
操作单元98,使汽车的驱动方向沿着所需方向,就利用分别作为学生数据和
教师数据的、由计算单元93(图16)输出的、正好在操作单元98的操作之
前和之后的作为输入信号的驱动方向θ的每一个,进行纠正参数的学习,从而
改变纠正参数。把改变了的纠正参数供应给纠正单元21,在纠正单元21上
利用纠正参数计算纠正量,并且根据纠正量对输入信号进行纠正处理(图22)。
因此,在用户操作操作单元98的情况下,表达式(37)的纠正参数由用户的
操作改变,使得通过表达式(37)表示的处理(纠正处理)的内容也理所当
然地改变,从而可以认为,对于如图20所示的优化设备94的处理单元101,
“处理的内容”也随用户的操作而改变,从而可以获得用户所需的驱动方向。
并且,对于图20中的优化设备94,在用户没有输入足够的学习对的情
况下,或者,在没有输入能够进行高精度接近的学习对的情况下,使纠正单
元21上输入信号的纠正量是0,并且在用户输入能够进行高精度接近的学习
对的情况下,通过从利用学习对进行学习获得的纠正参数获得的纠正量进行
输入信号的纠正。也就是说,计算纠正单元21用于纠正处理的权重的算法在
没有获得足够数量的学习对或能够进行高精度接近的学习对的情况,和获得
能够进行高精度接近的学习对的情况之间改变。
因此,对于图20中的优化设备94的处理单元101,“处理的内容”,以及
“处理的结构”也随用户的操作而改变,从而,汽车按照既定路线进行沿着驱
动方向的自动驱动。
现在,对于图23中的实施例(与图8和图13中的实施例一样),在步骤
S170中,获得来自纠正参数计算单元145的纠正参数a0到aN所定义的表达
式(37)定义的面和由最新教师数据和学生数据所规定的点之间的误差ε,然
后进行随后的处理,但是,也可以做出这样的安排,即在步骤S170中,获得
由在供应数组最近教师数据和学生数据之前在步骤S166中获得的纠正参数
a0到aN所定义的表达式(37)定义的面和由数组最近教师数据和学生数据所
规定的点的每一个之间的误差ε,然后根据数个误差ε进行随后的处理。
请注意,除了图17和图20所示的那些之外,图16中的优化设备94的
处理单元101被配置成使用例如图10所示的优化设备1的处理单元11。
接着,图24显示了应用如图1所示的优化设备的自动驱动设备的另一个
实施例的配置例。请注意,在该图中,与图16中的那些相对应的部分用相同
的标号表示,并且在下文中适当地省略对它们的描述。也就是说,除了含有
新配备在优化设备94中的内部信息生成单元161,以及含有新配备的显示设
备171之外,以与图16所示相同的方式配置如图24所示的自动驱动设备。
以与图14中的内部信息生成单元171相同的方式,内部信息生成单元
161从处理单元1中读出内部信息,将其转换成图像信息,并且将其输出到
显示单元171。显示单元171以预定显示格式显示内部信息生成单元161供
应的内部信息。
在如图24所示的实施例中,处理单元101可以被配置成像图17和图20
所示的那样。在以与图17所示相同的方式配置如图24所示的处理单元101
的情况下,除了纠正参数计算处理之外,进行与图17中的处理相同的处理。
现在,参照图25中的流程图描述当被配置成如图17所示那样时,如图24所
示的处理单元101进行的纠正参数计算处理。
对于步骤S191到步骤S197,进行与图18中的步骤S111到S117的每一
步中的处理相同的处理。
在步骤S197中的处理之后,流程转到步骤S198,把内部信息显示在显
示单元171上。那就是,更具体地说,例如,内部信息生成单元161读取存
储在权重存储器31(图17)中的权重W,作为内部信息,将其转换成可以显
示在显示单元171上的图像信号,并且输出和在显示单元171上显示(呈现)
它。在处理步骤S198之后,流程返回到步骤S111,随后,重复相同的处理。
由于参照图25中的流程图所述的处理,在显示单元17上显示(呈现)
与处理单元101的处理有关的作为内部信息的权重W,随后,用户可以一边
观看显示器,一边操作操作单元98,从而进行最佳自动驱动。
此外,在如上所述的情况中,显示了权重W,但是,可以在与这个内部
信息生成单元161一起的显示设备171上显示(呈现)其它内部信息,例如,
可以从参数控制数据存储器37中读出和显示参数控制数据a和b。此外,可
以做出这样的安排,使选择单元41选择的权重是从利用学习对进行学习获得
的参数控制数据a和b中获得的权重,或从输入可靠度或输出可靠度中获得
的权重。
接着,在图24的处理单元101被配置成如图20所示的那样的情况下,
除了纠正参数学习处理之外,进行与在图20中进行的处理相同的处理。现在,
参照如图26所示的流程图,描述在如图24所示的处理单元101被配置成如
图20所示那样的情况下的纠正参数学习处理。
在步骤S211到S223中,进行与图23中的步骤S161到S172的每一步中
的处理相同的处理。
在步骤S219和步骤S223中的处理之后,流程转到步骤S224,在步骤
S224中,例如,内部信息生成单元161读取存储在纠正参数存储器中的纠正
参数a0到aN,作为内部信息,将其转换成可以显示在显示单元171上的图像
信号,并且在显示单元171上显示它。同时,对于被配置成包括数个参数的
纠正参数a0到aN,可以做出另一种安排,即以条形图的形式进行显示,例如,
如图27所示,参数为水平轴,而值为垂直轴。此外,如图28所示,例如,
可以使两个任意纠正参数ai到aj分别为水平轴和垂直轴来显示纠正参数a0到
aN。并且,可以做出这样的安排,即可以由用户来选择用作水平轴和垂直轴
的纠正参数。
随后,流程返回到步骤S211,并且接着,重复相同的处理。
如上所述,由于参照图26中的流程图所述的纠正参数处理,纠正参数a0
到aN得到显示,从而,借助于如图24所示的优化设备94的处理单元101,
把纠正参数a0到aN显示成内部信息,因此,用户可以一边观看显示器,一边
操作操作单元98,以便进行最佳自动驱动。
并且,借助于内部信息生成单元161,可以显示除了纠正参数a0到aN之
外的内部信息。
此外,在如图26所示的实施例中,在步骤S219中的处理之后,流程转
到步骤S224的情况下,把用作内部信息的纠正参数a0到aN显示成0。
接着,参照图29描述作为如图1所示的优化设备的另一个实施例的优化
设备201。优化设备201被配置成含有处理单元211,并且用于从例如用作输
入信号的图像信号等消除噪声和优化显示的图像信号。现在,在本例中,图
像信号将被描述成主输入信号的例子,信号不限于图像信号,也可以是其它
信号。
处理单元211被配置成包括学习单元221和映射处理单元222。把操作
信号从操作单元202供应到处理单元211的学习单元221,学习单元221根
据操作信号学习利用映射处理单元222进行处理所需的系数组,并且将这些
系数组存储在系数存储器235中。至于学习单元211的学习的标准(norm)
(学习标准),可以使用例如最小N次方误差法(最小N次方法)。最小N次
方误差法将在以后加以描述。
映射处理单元222进行将输入信号映射(转换)成预定输出信号的映射
处理。也就是说,映射处理单元222从用作输出信号的图像信号当中取出要
作为感兴趣像素获得的像素,从作为输入信号的图像信号提取与感兴趣像素
相对应的那个抽头(处理所需的至少一个或多个像素,也称为样本),和进行
存储在系数存储器235中的系数组的乘积之和的计算处理,从而获得感兴趣
像素。映射处理单元222进行与使像素构成用作输出信号的图像信号相同的
处理(映射),生成用作将其输出到显示单元203的输出信号的图像信号,并
且显示它们。
操作单元202由用户操作,把与操作相对应的操作信号供应给学习单元
221。显示单元203显示作为映射处理单元202输出的输出信号的像素信号。
接着,参照图30描述如图29所示的学习单元221的详细配置。教师数
据生成单元231从输入信号中生成用作学习的教师的教师数据,并且将其输
出到最小N次方误差系数计算单元234。学生数据生成单元232从输入信号
中生成用作学习的学生的学生数据,并且将其输出到预测抽头提取单元233。
例如,这个教师数据和学生数据由没有对输入信号进行处理的教师数据生成
单元231,或者由通过预定稀化处理或LPF(低通滤波)等使输入数据变差
的学生数据生成单元232等生成,并且只要像对于教师数据使其变差的学生
数据那样生成学生数据,就不局限于如上所述的配置。因此,除了如上所述
的那种之外,例如,在教师数据生成单元231使输入信号经受预定稀化或LPF
处理的情况下,学生数据生成单元232足以比教师数据生成单元231进行的
处理更高程度地进行稀化或LPF处理。此外,可以做出这样的安排,即无需
任何改变地把输入信号用作教师数据,和把噪声叠加在上面的输入信号用作
学生数据。
然后预测抽头提取单元233顺序取出构成作为教师数据的图像信号的像
素,作为感兴趣像素,从用作学生数据的图像信号提取与感兴趣像素存在预
定位置关系的至少一个或多个像素(抽头),作为预测抽头,并且将其输出到
最小N次方误差系数计算单元234。
最小N次方误差系数计算单元234根据从操作单元202输入的、代表指
定最小N次方误差系数计算处理所需的指数值N的信息的操作信号,通过最
小N次方误差法,从预测抽头和教师数据中计算系数组,将其输出到系数存
储器235,并且存储它(适当地进行覆盖存储)。
系数存储器235存储最小N次方误差系数计算单元234供应的系数组,
并且适当地将其输出到映射处理单元222。
接着,参照图31描述图29中的映射处理单元222的配置。映射处理单
元222的抽头提取单元251通过从用作输入信号的图像信号顺序提取构成用
作输出信号的图像信号的像素,作为感兴趣像素,构造其抽头配置与如图30
所示的预测抽头提取单元233构造的抽头配置相同的预测抽头,作为与感兴
趣像素存在预定位置关系的像素的预测抽头(像素值),并且将其输出到乘积
之和计算单元252。乘积之和计算单元252通过在从抽头提取单元251输入
的提取预测抽头(像素)的值和存储在学习单元221的系数存储器235中的
系数组之间进行乘积之和计算,生成感兴趣像素,并且将其输出到显示单元
203(图29)。
现在,描述图30所述的最小N次方误差系数计算单元234进行的最小N
次方误差法的系数计算。在最小N次方误差法中指数N=2的情况通常被称
为最小二乘误差法(最小平方误差方法)。也就是说,在用作感兴趣像素的教
师数据用y表示,构成预测抽头的M个学生数据段用xi(i=1,2,...,M)
表示,预定M个系数分别是wi,和教师数据y的预测值y′是预测抽头xi和预
定系数wi的线性组合(乘积之和计算)w1x1+w2x2+...+wMxM的情况下,
获得如图32所示的、使用黑点表示的教师数据y和用白点表示的预测值y′
之间的误差(在图中,用箭头表示的、用作教师数据的真值y与其预测误差
y′之差的绝对值)的平方之和达到最小的系数组w1,w2,...,wM。
在改变最小N次方误差法中的指数值N的情况下,误差大的预测值y′
的误差在例如指数N大的情况下,极大地影响N次方误差之和,因此,对于
最小N次方误差法,获取在舍弃(save)这种误差大的预测值y′的方向的系
数(使误差大的预测值y′的误差减少的系数)。但是,误差小的预测值y′的误
差对N次方之和影响小,不会给予太多的考虑,因此,往往对其忽略不计。
相反,在指数N小的情况下,误差大的预测值y′的误差对N次方之和的影响
小于指数N大的情况,误差小的预测值y′的误差对N次方之和的影响甚至更
小。因此,根据最小N次方误差法,与指数N大的情况相比,获取在减少误
差小的预测值的误差方向的系数。
请注意,预测值y′的误差对N次方误差之和的影响的变化是由于预测值
y′的误差的N次方引起的,下文可以称此为N次方误差性质。
如上所述,存在利用最小N次方法从指数N获得的系数组的定性趋势,
因此,利用最小N次方法,通过改变指数N来获取系数组可以获得适合用户
偏爱的执行映射处理的系数组(使对输入信号映射的输出信号成为用户偏爱
的那些的系数组)。但是,事实上,利用除了最小N次方误差法之外的其它
方法,即指数是除了N=2之外的其它值的方法,计算使预测值y′的N次方
误差之和达到最小的系数组是极其困难的。
现在,描述利用除了最小平方误差法之外的其它方法计算使预测值y′的
N次方误差之和达到最小的系数组的原因。
预测值y′的误差的N次方之和(N次方误差之和)可以用表达式(38)
表示。
[表达式38]
E = Σ sample e N · · · ( 38 ) ]]>
这里,E指示样本个用作教师数据的真值y和预测值y′之间的误差e的N
次方之和。
另一方面,对于本实施例,如上所述,真值y的预测值y′通过预测抽头
xi和预测系数wi的线性组合,即像下列表达式(39)那样来定义。
[表达式39]
y ′ = w 1 x 1 + w 2 x 2 + · · · + w M x M = Σ i = 1 M w i x i · · · ( 39 ) ]]>
现在,下文可以把系数w1,w2,w3,...,xM称为预测系数。一组预测系
数是存储在如图30所示的系数存储器235中的系数组。此外,对于预测抽头
x1,x2,x3,...,xM,可以应用与用作教师数据的图像的像素(真值)y相对
应的、在空间方面或时间方面靠近用作学生数据的图像的位置的像素。
在这种情况下,表达式(38)中的误差e可以用下列表达式(40)来表
示。
[表达式40]
e = | y - y ′ | = | y - Σ i = 1 M w i x i | · · · ( 40 ) ]]>
对于最小N次方误差法,需要获得使从表达式(40)得出的下列表达式
(41)和表达式(42)所指的N次方误差之和E达到最小的预测系数w1,
w2,w3,...,wM。请注意,表达式(41)是在指数N是奇数的情况下表示和
E的表达式,和表达式(42)是在指数N是偶数的情况下表示和E的表达式。
[表达式41]
E = Σ sample e N = Σ sample | y - Σ i = 1 M w i x i | N · · · ( 41 ) ]]>
[表达式42]
E = Σ sample e N = Σ sample | y - Σ i = 1 M w i x i | N = Σ sample ( y - Σ i = 1 M w i x i ) N · · · ( 42 ) ]]>
现在,在表达式(41)的情况下,即在指数N是奇数的情况下,如果真
值y和预测值y′之间的差值y-y′的幅度之和是同一值,那么,和E是与差值
y-y′的表示法无关的同一值,因此,不能获得使和E达到最小的预测系数
w1,w2,w3,...,wM。也就是说,和E是包含绝对值的函数,并且是例如像
图33所示那样的函数。因此,除了通过全搜索之外,不能获得使和E达到最
小的预测系数w1,w2,w3,...,wM。图33表示了在指数N=1的情况下预
测系数wi和和E的变化。
另一方面,在表达式(42)的情况下,即在指数N是偶数的情况下,和
E总是满足E≥0,因此,正如下列表达式(43)所指的那样,通过把求表达
式(42)中的和E关于预测系数wi的偏导数获得的表达式设为0,可以获得
最小值。
[表达式43]
∂ E ∂ w i = Σ sample N ( y - Σ j = 1 M w j x j ) N - 1 · ( - x i ) ]]>
= - N Σ sample x i ( y - Σ j = 1 M w j x j ) N - 1 ]]>
= 0 · · · ( 43 ) ]]>
因此,根据表达式(43),通过求解下列表达式(44)所指的表达式,可
以获得使N次方误差的和E达到最小的解,即预测系数w1,w2,w3,...,
wM。
[表达式44]
Σ sample x i ( y - Σ j = 1 M w j x j ) N - 1 = 0 , ( i = 1,2 , . . . , M ) · · · ( 44 ) ]]>
关于这个表达式(44),例如,在指数N=2的情况下,即在利用所谓的
最小平方误差方法求得解的情况下,把2代入表达式(44)中的指数N并且
求解下列表达式(45)就足够了。
[表达式45]
Σ j = 1 M Σ sample x i x j w j = Σ sample x i y , ( i = 1,2 , . . . , M ) · · · ( 45 ) ]]>
正如下列表达式(46)所示的那样,表达式(45)中的表达式可以以矩
阵表达式的形式来表示,并且称为正规方程。此外,在指数N=2的情况下,
和E的最小值是唯一确定的,并且其最小值是和E的最小值。如果从表达式
(45)中的正规方程构造数量等于预测系数w1,w2,w3,...,wM的数量(在
这种情况下,是M)的线性方程的系统,那么,可以通过例如Cholesky方法
等求解线性方程的系统,并且可以获得预测系数w1,w2,w3,...,wM。
[表达式46]
Σ sample x 1 x 1 Σ sample x 1 x 2 . . . Σ sample x 1 x M Σ sample x 2 x 1 Σ sample x 2 x 2 . . . Σ sample x 2 x M . . . . . . . . . . . . Σ sample x M x 1 Σ sample x M x 2 . . . Σ sample x M x M w 1 w 2 . . . w M = Σ sample y x 1 Σ sample y x 2 . . . Σ sample y x M · · · ( 46 ) ]]>
此外,为了求解表达式(46)中的正规方程,在表达式(46)的左侧使
预测抽头的乘积xixj之和(∑xixj)成为分量的矩阵必须是正则的。
在指数N是偶数,并且还是4或更大的情况下,可以把表达式(42)表
达成如下列表达式(47)所示的那样。
[表达式47]
Σ r = 0 N = 1 Σ sample x i · ( - 1 ) r · N - 1 C r · y N - 1 - r · ( Σ j = 1 M w j x j ) r = 0 , ( i = 1,2 , . . . , M ) · · · ( 47 ) ]]>
对于如表达式(47)所示的表达式,这形成了高阶方程的系统,因此,
通过求解如指数N是N=2的情况的线性表达式的系统,不能获得预测系数
w1,w2,w3,...,wM。
如上所述,在指数N是除了N=2之外的其它值的情况下,一般说来,
不能容易地获得使表达式(38)所指的N次方误差之和达到最小的预测系数
w1,w2,w3,...,wM。
因此,学习单元221的最小N次方误差系数计算单元234通过下列2种
最小N次方误差法计算预测系数。应用2种最小N次方误差法的哪一种可以
通过例如用户操作操作单元202(图29)来指定。
首先,描述第1种方法(下文也称之为直接技术)。正如下列表达式(48)
所指的那样,把其中误差e2的项乘以权重αs的和E定义成N次方误差之和,
代替表达式(38)。
[表达式48]
E = Σ sample e N = Σ sample α s e 2 · · · ( 48 ) ]]>
也就是说,把作为误差的N次方的eN定义为权重αs和误差平方e2的乘
积。
在这种情况下,通过例如如下列表达式(49)所示、使表达式(48)中
的权重αs成为通过表达式(39)中的线性表达式、从在指数N是N=2的情
况下获得的预测系数w1,w2,w3,...,wM获得的预测值y′的函数,可以获
得使表达式(48)中的N次方误差之和E达到最小的预测系数w1到wM。
[表达式49]
αs=f(y′) ...(49)
虽然可以为权重αs构想各种各样的函数,但是,需要应用在表达式(48)
中定义的误差的N次方eN=αse2满足如上所述的N次方误差性质的函数,和
可以应用例如如下列表达式(50)所示的函数。
[表达式50]
αs=axsc+b ...(50)
现在,xs代表通过表达式(39)从通过最小平方误差法获得的预测系数
w1到wM计算的预测值y′的误差(下文可以称之为源自最小平方标准的误差)
被归一化成0到1.0范围内的值,并且利用预测值y′的误差xs定义的表达式
(50)中的权重αs如图34所示。
系数a是控制源自最小平方标准的误差xs对N次方误差eN的影响的项,
并且在系数a是a=0的情况下,权重αs是图34中斜率为0的水平线。在这种
情况下,源自最小平方标准的误差xs对N次方误差eN的影响是与源自最小平
方标准的误差xs有多大或多小无关的常数,并且使表达式(48)中的和E达
到最小的预测系数wi在逻辑上与通过最小平方误差法获得的那个是相同的。
因此,使a=0基本上实现了最小平方误差法。此外,在系数a>0成立的情况
下,误差xs越大,源自最小平方标准的误差xs对表达式(48)中N次方误差
eN的影响越大,而误差xs越小,源自最小平方标准的误差xs对表达式(48)
中N次方误差eN的影响越小。另一方面,在系数a<0成立的情况下,误差
xs越大,源自最小平方标准的误差xs对表达式(48)中N次方误差eN的影响
越小,而误差xs越小,源自最小平方标准的误差xs对表达式(48)中N次方
误差eN的影响越大。
也就是说,在系数a是正数的情况下,表达式(48)中的N次方误差eN
具有与使指数N成为大数相同的性质,而在系数a是负数的情况下,表达式
(48)中的N次方误差eN具有与使指数N成为小数相同的性质。因此,表
达式(48)中的N次方误差eN具有与表达式(38)中的N次方误差eN相同
的性质,于是,使表达式(48)中N次方误差的和E达到最小的预测系数基
本上就是使表达式(38)中N次方误差的和E达到最小的预测系数。
此外,在系数a是0的情况下,如上所述,实现了最小平方误差法。也
就是说,指数N是2,但是,对于系数a是正数的情况,这造成指数N是N
>2的情况,而对于系数a是负数的情况,这造成指数N是N<2的情况。与
如后所述的系数c一样,这个系数a极大地影响最小N次方误差法中的指数
N。
系数b是修正项,图34中的整个函数值(权重αs)在垂直方向上随系数
b的值而改变。此外,系数b对最小N次方误差法中的指数N的影响没那么
大。
系数c是转换坐标比例的项,即改变使权重αs适合源自最小平方标准的
误差的方式的项,其中,系数c的值越大,权重αs的改变越陡峭,和系数c
的值越小,权重αs的改变越和缓。因此,由于系数c的变化造成的源自最小
平方标准的误差xs对表达式(48)中的N次方误差eN的影响与系数a的变化
造成的影响相同,于是,表达式(48)中的N次方误差eN也可以拥有与表达
式(38)中的N次方误差eN随系数c的相同的性质。也就是说,最小N次方
误差的指数N可以受系数c的影响。
请注意,图34中的直线表示c=1和a>0(b是任意值)的情况,和图34
中的曲线表示c≠1和a>0(b是任意值)的情况。
规定表达式(50)中的权重αs的系数a、b和c可以通过用户操作(设置)
操作单元202来改变,和表达式(50)中的权重αs通过改变系数a、b和c来
改变。权重αs的这种改变使表达式(48)中的αse2基本上(相当于)起关于
预定指数N的误差的N次方eN的作用,因此,获得使表达式(50)中的N
次方误差的和E达到最小的预测系数,即通过最小N次方误差法的标准的预
测系数wi。
此外,对于上述的第1实施例,以不同方式改变确定权重αs的系数a、b
和c基本上都是改变指数N,以便通过最小N次方误差法获得预测系数,因
此,指数N不局限于整数,在指数N是诸如小数之类的另一个实数例如其中
指数N=2.2的情况下,可以获得预测系数。
接着,描述通过最小N次方误差法计算预测系数的第2种方法(下文也
称之为递归法)。对于第1种方法,正如表达式(48)所示的那样,将乘以权
重αs的平方误差e2用作N次方误差,但是,对于第2种方法,使用利用低阶
最小N次方误差法获得的解,然后可以利用递归技术获得通过高阶最小N次
方误差法获得的解。
也就是说,可以利用如上所述的最小平方误差法获得使下列表达式(51)
中的平方误差的和E达到最小的预测系数wi,其中,把利用通过这个最小平
方误差法获得的预测系数wi,通过表达式(39)计算的预测值y′表示成y1(下
文可以称之为源自最小平方标准的预测值)。
[表达式51]
E=∑e2 ...(51)
接着,让我们考虑例如下列表达式(52)所表达的立方误差之和E。
[表达式52]
E=∑|e|3=∑(|y-y1|)e2 ...(52)
获取使表达式(52)中的立方误差之和E达到最小的预测系数wi意味着
通过最小立方误差法求解,其中,如表达式(52)所示,立方误差|e3|以平方
误差e2和源自最小平方标准的预测值y1与真值y之间的误差|y-y1|之积的形
式表示。表达式(52)中的|y-y1|可以作为一个常数来获得,因此,实际上,
可以通过最小平方误差法获得使表达式(52)中的立方误差之和E达到最小
的预测系数wi。
同样,让我们考虑表达式(53)所表达的四次方误差之和E。
[表达式53]
E=∑e4=∑(|y-y2|2e2 ...(53)
获取使表达式(53)中的四次方误差之和E达到最小的预测系数wi意味
着通过最小四次方误差法求解,其中,把利用使表达式(52)中的立方误差
之和E达到最小的预测系数wi,通过表达式(39)计算的预测值y′表示成y2
(下文可以称之为源自最小立方标准的预测值),如表达式(53)所示,四次
方误差|e4|可以平方误差e2和源自最小立方标准的预测值y2与真值y之间的平
方误差|y-y2|2(下文可以称之为源自最小立方标准的平方误差)之积的形式
表示。表达式(53)中源自最小立方标准的平方误差|y-y2|2可以作为一个常
数来获得,因此,实际上,可以通过最小平方误差法获得使表达式(53)中
的四次方误差之和E达到最小的预测系数wi。
这对于下列表达式(54)也是成立的。
[表达式54]
E=∑|e|5=∑(|y-y3|)3e2 ...(54)
获取使表达式(54)中的五次方误差之和E达到最小的预测系数wi意味
着通过最小五次方误差法求解。把利用使表达式(53)中的四次方误差之和
E达到最小的预测系数wi,通过表达式(39)计算的预测值y′表示成y3(下
文可以称之为源自最小四次方标准的预测值),如表达式(54)所示,五次方
误差|e5|可以以平方误差e2和源自最小四次方标准的预测值y3与真值y之间的
立方误差|y-y3|3(下文可以称之为源自最小四次方标准的立方误差)之积的
形式表示。表达式(54)中源自最小四次方标准的立方误差可以作为一个常
数来获得,因此,实际上,也可以通过最小平方误差法获得使表达式(54)
中的五次方误差之和E达到最小的预测系数wi。
对于指数N是6或更高阶的最小N次方误差的情况,也可以以同样的方
式求解(预测系数wi)。
如上所述,对于第2种方法,利用通过低阶最小N次方误差法获得的预
测系数计算的预测值用于求更高阶最小N次方误差的解,并且递归地重复这
种过程,从而求得更高阶最小N次方误差的解。请注意,对于如上所述的情
况,通过最小N次方误差得出的解是利用借助于通过比其仅低1阶的N-1次
方误差获得的预测系数计算的预测值获得的,但是,通过最小N次方误差得
出的解也可以利用通过比其低任意阶的最小N次方误差获得的预测系数计算
的预测值而获得。也就是说,在表达式(53)的情况下,可以用|y-y1|取代|y
-y2|,和在表达式(54)的情况下,可以用|y-y2|或|y-y1|取代|y-y3|。
此外,在第2种方法中,N次方误差eN可以以平方误差e2和N-2次方误
差|y-y′|N-2之积的形式表示,因此,与第1种方法一样,可以通过任意指数N
例如其中指数N=2.2的最小N次方误差求解。
接着,参照图35中的流程图描述利用图29中的优化设备201进行的图
像优化处理。这个图像优化处理由学习处理和映射组成。
在学习处理中,在步骤S230中,对用户是否已经操作了操作单元202做
出判断,并且在做出还没有操作这个操作单元202的判断的情况下,流程返
回到步骤S230。此外,在步骤S230中,在做出已经操作了这个操作单元202
的判断的情况下,流程转到步骤S231。
在步骤S231中,学习单元221的教师数据生成单元231从输入信号中生
成教师数据,并且将其输出到最小N次方误差系数计算单元234,而学生数
据生成单元232从输入信号中生成学生数据,并且将其输出到预测抽头提取
单元233,然后流程转到步骤S232。
现在,对于用于生成学生数据和教师数据(下文可以称之为学习数据)
的数据,例如,可以应用输入在时间上从当前时刻算起往回预定时间量的那
一点的输入信号。此外,对于学习数据,可以做出这样的安排,即事先存储
专用数据,而不是使用输入信号。
在步骤S232中,对于作为感兴趣像素的每个教师数据段,预测抽头提取
单元233从与每个感兴趣像素有关的由学生数据生成单元232输入的学生数
据中生成预测抽头,并且将其输出到最小N次方误差系数计算单元234,然
后流程转到步骤S233。
在步骤S233中,最小N次方误差系数计算单元234判断是否通过操作
单元202输入了指定借助于递归方法(第2种方法)通过最小N次方误差法
对系数组的计算的操作信号,并且在例如用户已经操作了操作单元202和已
经指定了不是递归方法的方法,即直接方法(第1种方法)的情况下,流程
转到步骤S234,在步骤S234中,对是否输入指定表达式(50)中的权重αs
(指定指数N)的系数a、b和c做出判断,重复该处理,直到输入它们为止,
并且在做出例如用户已经操作了操作单元202和已经输入指定系数a、b和c
的值的判断的情况下,流程转到步骤S235。
在步骤S235中,最小N次方误差系数计算单元234主要通过最小平方
误差法,在输入系数a、b和c,以及权重αs的状态下,求解使上述表达式(48)
达到最小的问题,从而获得预测系数w1,w2,w3,...,wM,对于与权重αs,
即系数组相对应的指数N,通过最小N次方误差求解,并且将其存储在系数
存储器235中,然后流程返回到步骤S230。
另一方面,在步骤S213中,在做出已经选择了递归方法的判断的情况下,
处理流程转到步骤S236。
在步骤S236中,最小N次方误差系数计算单元234判断是否已经输入
指定指数N的信息,重复该处理,直到输入指数N为止,并且在做出例如通
过用户操作操作单元202已经输入指定指数N的信息的判断的情况下,处理
流程转到步骤S237。
在步骤S237中,最小N次方误差系数计算单元234通过利用基本最小
平方误差法的代数法(algebric approach)获得系数组。在步骤S238中,最小
N次方误差系数计算单元234使用通过借助于最小平方误差获得的系数组获
得的预测值,像参照表达式(51)到表达式(54)所述的那样,通过与从操
作单元202输入的指数N相对应的、由最小N次方误差递归地获得系数组,
将其存储在系数存储器235中,然后流程返回到步骤S231。
接着,对于映射处理,在步骤S241中,对于作为感兴趣帧、与用作当前
输入信号的图像帧相对应的用作输出信号的图像帧,映射处理单元222的抽
头提取单元251按例如光栅扫描次序,从感兴趣帧的像素中取出还没有成为
感兴趣像素的那些像素,从用于感兴趣像素的输入信号中提取与感兴趣像素
有关的预测抽头,并且将其输出到乘积之和计算单元252。
然后在步骤S242中,乘积之和计算单元252读出学习单元221的系数存
储器235的预测系数,并且按照表达式(39),进行从抽头提取单元251输入
的预测抽头和从系数存储器235读出的预测系数之间的乘积之和计算处理。
因此,乘积之和计算单元252获取感兴趣像素的像素值(预测值)。随后,流
程转到步骤S243,在步骤S243中,抽头提取单元251判断是否使所有像素
都成为感兴趣帧中的感兴趣像素,并且在做出有一些还没有成为的判断的情
况下,流程返回到步骤S241,并且以光栅扫描次序,对感兴趣帧中还没有成
为感兴趣像素的像素重复相同的处理,使其成为新的感兴趣像素。
此外,在步骤S243中,在做出感兴趣帧中的所有像素都已经成为感兴趣
像素的判断的情况下,流程转到步骤S244,在步骤S244中,显示单元203
显示由通过乘积之和计算单元252获得的像素组成的感兴趣帧。
流程返回到步骤S241,在步骤S241中,抽头提取单元251把下一个帧
取作新感兴趣帧,随后,重复相同的处理。
根据图35中的图像优化处理,在映射处理中,用户观看显示在显示单元
203上的图像,并且在与用户的偏爱不匹配的情况下,操作操作单元202指
定直接方法或递归方法,并且进一步为最小N次方误差指定指数N,因此,
在学习处理中,改变通过最小N次方误差获得的预测系数,并且可以使作为
通过映射处理获得的输出信号的图像成为适合用户他自己/她自己的偏爱的
图像。
现在,图36显示了借助于直接方法,利用通过最小N次方误差法获得
的最小N次方标准的系数组计算的预测值的误差之和以及利用通过一般最小
平方误差法获得的最小平方标准的系数组计算的预测值的误差之和,该直接
方法通过把系数a、b和c设置成例如a=40、b=0.1和c=1而改变表达式(50)
中权重αs的系数a、b和c的值。这里,对于误差之和,显示出了平方误差和
立方误差的和。此外,在系数a、b和c是如上所述的值的情况下,这相当于
表达式(48)中N次方误差eN的指数N大于2的情况。在图36中,平方误
差之和在来自最小平方标准系数组的情况下是10160281,而在来自N次方标
准系数组的情况下是10828594,因此,在来自最小平方标准系数组的情况下
的值小于在来自N次方标准系数组的情况下的值。另一方面,立方误差之和
在来自最小平方标准系数组的情况下是165988823,而在来自N次方标准系
数组的情况下是161283660,因此,在来自N次方标准系数组的情况下的值
小于在来自最小平方标准系数组的情况下的值。
因此,通过利用最小平方标准的系数组进行映射处理(表达式(39)中
的乘积之和计算),可获得作为平方标准之和甚至更小的输出信号的图像,并
且通过利用使用如上所述的值的系数a、b和c获得的最小N次方标准的系数
组进行映射处理,可以获得作为立方标准之和甚至更小的输出信号的图像。
现在,在图35中的图像优化处理中,指数N通过用户操作操作单元202
来改变(在直接方法中,改变指定指数N的系数a、b和c,而在递归方法中,
改变指数N本身),从而设置用于指数N的最小N次方误差法的哪一种将用
作预测系数(系数组)的学习标准(学习系统)。也就是说,改变获取预测系
数本身的学习算法。因此,可以认为,“处理的结构”发生改变,从而可以获
得适合用户偏爱的图像。
接着,图37显示了如图1所示的优化设备的另一个配置例。对于如图
37所示的优化设备201,除了配备的内部信息生成单元261之外的其它配置
与如图29所示的优化设备201的那些配置相同,因此,省略对它们的描述。
内部信息生成单元261读出例如存储在系数存储器235中的预测系数,
作为处理单元221的内部信息,将预测系数的信息转换成图像信号,并且将
其输出到显示它的显示单元203。
接着,参照如图38所示的流程图描述利用如图37所示的优化设备201
进行的图像优化处理。与如图35所示的情况一样,如图38所示的图像优化
处理也由学习处理和映射处理组成。对于学习处理,在步骤S250到S258中
分别进行与在步骤S230到S238中的处理相同的处理。
并且,对于学习处理,在步骤S255和S258中的处理之后,流程转到步
骤S259,内部信息生成单元261读取存储在系数存储器235中的系数组,作
为内部信息,根据包含在系数组中的值生成可以显示的图像信号,并且将其
输出到显示它的显示单元203。
此时,由内部信息生成单元261生成和显示在显示单元203上的图像可
以具有例如像如图39所示的三维分布图或如图40所示的二维分布图那样的
形式。也就是说,在图39中,与从输入信号提取的预测抽头位置等效的坐标
被表示成在xy平面上作为抽头位置(x)和抽头位置(y)的位置,其中,预
测系数(Coeff)取与预测抽头位置的每一个相对应的坐标上所示的用作其预
测抽头的像素值之积。此外,在图40中,图39以等高线的形式表示。
现在,让我们返回到对图38中的流程图的描述。
在步骤S259中的处理之后,流程返回到步骤S250,随后,重复相同的
处理。
另一方面,对于映射处理,在步骤S261到S264中分别进行与图35中的
步骤S241到S244中的处理相同的处理。
由于上述的处理,存储在处理单元211的系数存储器235中的系数组的
值(系数值)被显示(呈现)成与处理相关的内部信息,因此,用户操作操
作单元202,同时观看系数组的分布以及作为输出信号的处理单元211的处
理结果,以便可以获得适合其偏爱的作为输出信号的图像,从而改变指数N
(在直接方法中,改变指数N的系数a、b和c,和在递归方法中,改变指数
N本身),从而设置用于指数N的最小N次方误差法的哪一种将用作预测系
数(系数组)的学习标准(学习系统)。也就是说,改变获取预测系数本身的
学习算法,因此,可以认为,“处理的结构”发生改变。此外,在如上所述的
例子中,显示系数组,但是,也可以做出这样的安排,其中显示与处理有关
的内部信息,像例如当前最小N次方误差法是直接的还是递归的。
图41显示了优化设备的另一个配置例。如图41所示的优化设备301被
配置成含有处理单元311,并且根据从操作单元202输入的操作信号,优化
输入信号和将它们显示在显示单元202上。在该图中,与上述实施例相对应
的部分用相同标号表示,并且在下文中适当地省略对它们的描述。
如图41所示的处理单元311的系数存储器321基本上与如图30所示的
系数存储器235相同,存储映射处理单元222进行映射处理所需的系数组。
系数组基本上是由如后所述的如图43所示的学习设备341生成的、经系数改
变单元322适当改变和加以覆盖和存储的系数组(用作初始值的系数组)。因
此,当重复覆盖时,系数组变得与学习设备341生成的系数组有些不同。此
外,可以做出这样的安排,即把用作初始值的系数组存储在未示出的存储器
中,以便与操作单元202所作的操作相对应,可以把系数存储器321的存储
内容复原成初始值系数组。
系数改变单元322根据从操作单元202输入的操作信号,读出存储在系
数存储器321中的系数组(预测系数),与预测抽头相对应改变预测系数的值
(乘以预测抽头的预测系数),并且再次在系数存储器321上覆盖和存储。
接着,参照图42,描述系数改变单元322的配置。系数改变单元322的
系数读/写单元331受改变处理单元332控制,以便读出存储在系数存储器321
中的系数组,并且输出到改变处理单元332,同时把其值已经经过改变处理
单元332改变的预测系数写在系数存储器321上加以存储。改变处理单元332
根据操作信号,改变通过系数读/写单元331从系数存储器321读出的预测值。
这里,参照图43描述通过学习处理生成要存储在系数存储器321中的系
数组的学习设备341。学习设备341的教师数据生成单元351与如图30所示
的学习设备221的教师数据生成单元231相同,从作为事先提供的学习数据
的图像信号中生成教师数据,和将教师数据输出到正规方程生成单元354。
学生数据生成单元352与如图30所示的学生数据生成单元321相同,从学习
数据中生成学生数据,并且将其输出到预测抽头提取单元353。
预测抽头提取单元353与如图30所示的预测抽头提取单元233相同,其
中,把现在要处理的教师数据当作感兴趣像素,从与那个感兴趣像素有关的
学生数据提取抽头结构与构成如图41所示的映射处理单元222的抽头提取单
元251(图31)生成的抽头结构相同的预测抽头,并且将其输出到正规方程
生成单元354。
正规方程生成单元354从教师数据生成单元351输入的作为感兴趣像素
的教师数据y和预测抽头x1,x2,...,xM中生成表达式(46)的正规方程。
然后正规方程生成单元354把所有教师数据都作为感兴趣像素,获取表达式
(46)中的正规方程,并且将正规方程输出到系数判定单元355。系数判定
单元355通过Cholesky方法等求解输入的正规方程(上述表达式(46)),从
而获得系数组。
接着,参照图44中的流程图,描述利用如图43所示的学习设备341进
行的系数判定处理(学习处理)。在步骤S271中,教师数据生成单元351从
学习数据中生成教师数据,并且将其输出到正规方程生成单元354,而学生
数据生成单元352从学习数据中生成学生数据,并且将其输出到预测抽头提
取单元353,然后流程转到步骤S272。
在步骤S272中,预测抽头提取单元352依次把教师数据取作感兴趣像素,
从与感兴趣数据有关的学生数据中提取预测抽头,并且将其输出到正规方程
生成单元354,然后流程转到步骤S273。
在步骤S273中,正规方程生成单元354利用教师数据和预测抽头组计算
在表达式(46)左侧的矩阵的分量之和(∑)和其右侧的矢量的分量之和(∑),
从而生成输出到系数判定单元355的正规方程。
然后流程转到步骤S274,系数判定单元355求解从正规方程生成单元354
输入的正规方程,通过所谓的最小平方误差法获得在步骤S275中存储在系数
存储器321中的系数组。
由于上面的处理,基本系数组(用作初始值的系数组)被存储在系数存
储器321中。现在,虽然上面的描述给出了通过最小平方误差法获得的系数
组,但是,这可以是通过其它方法获得的系数组,和可以是通过如上所述的
最小N次方误差法获得的系数组。
接着,对如图41所示的系数改变单元322的改变处理单元332对系数组
所作的改变加以描述。系数组通过上述图44中的流程图的处理被事先存储在
系数存储器321中,而系数改变单元322根据从操作单元202输入的操作信
号,改变通过计算事先设置的系数组的预测系数。
例如,在从学生数据中提取的预测抽头是7个抽头×7个抽头(对于水平
×垂直,7×7个像素),总共49个抽头的情况下,存在与预测抽头相对应的相
同个预测系数。也就是说,在这种情况下,存储在系数存储器321中的系数
组是由49个预测系数组成的系数组。此时,把每个预测抽头的位置(抽头位
置)作为水平轴(例如,赋予每个预测抽头一个号码,把这个号码的值用作
水平轴),让我们假设把乘以抽头位置的预测抽头的预测系数的系数值取作垂
直轴的分布像图46所示的那样。现在,在系数组的所有系数值都要改变的情
况下,这需要对49个系数值的每一个都进行操作。有必要对系数的值加以归
一化(其中,将每个系数除以所有系数的总值),以便输入信号和利用预测系
数处理输入信号获得的输出信号的增益是相同的,即系数的总值是1,但是,
对每个单独系数进行操作,以便总值是1是困难的。
也就是说,例如,就只升高与图47中箭头所指的预测抽头相对应的系数
的系数值而论,抽头位置和系数值的分布像图48所示的那样。请注意,如图
48所示的抽头位置t是图47中箭头所指的抽头位置。
这样,只升高(提高)与特定预测抽头相对应的系数的系数值需要进行
操作,以便降低与其它抽头位置相对应的系数的系数值等,使总值是1,但
是,这些操作是困难的。并且,在改变与更大量预测抽头相对应的系数的系
数值的情况下,使总值是1的操作也同样困难。
因此,在操作信号是这样的,即使与图49中箭头所指的一个抽头位置相
对应的系数的系数值改变得超过预定阈值S11(改变量改变得大于阈值S11)
的情况下,改变处理单元332把其它系数的系数值从像如图46所示那样的分
布改变成像如图50所示那样的分布。也就是说,改变处理单元332改变与每
个抽头位置相对应的系数的系数值,以便系数值的分布根据像弹簧那样的模
型、随相对与已经使其值发生改变的系数相对应的抽头位置的距离而改变。
也就是说,在通过学习获得的系数组的分布是像如图46所示那样的分布的情
况下,一旦在操作单元202上进行操作,以便升高与如图50所示的抽头位置
t相对应的值,改变处理单元332就提高在与抽头位置t接近的位置上的其它
值的系数值,以便位置越近,改变就越大,与此相反,改变与在远离抽头位
置t的位置上的抽头相对应的系数的系数值,以便位置越远,下降就越大,
并且其中,系数值的总值是1。这里,在下文中,分布以像如图50所示那样
的弹簧的形式改变的模型被称为弹簧模型。并且根据弹簧模型,在对操作单
元202进行操作,以便降低某个抽头位置t的系数的情况下,降低与抽头位
置t接近的位置的系数值,与那个位置的接近度相对应,并且根据距那个位
置的距离而相反地升高远离位置t的位置的系数值。
此外,在系数的系数值的改变量小于预定阈值S11的情况下,改变处理
单元332沿着与抽头位置t的系数相同的方向改变含有其极性与抽头位置t
的系数的极性相同的极值的系数值,并且沿着与抽头位置t的系数相反的方
向改变含有其极性与抽头位置t的系数的极性不同的极值的系数值(沿着与
已经操作过的系数相同的方向,移动含有其方向与已经操作过的系数含有的
极值的方向相同的极值的系数,并且沿着与已经操作过的系数相反的方向,
移动含有其方向与已经操作过的系数含有的极值的方向不同的极值的系数),
以便对变化有影响,使系数值的总值是1,保持整个分布收支(distribution
balance)的平衡。在下文中,如图51所示,使系数值发生改变,同时保持整
个收支的平衡的模型被称为平衡模型。由于对这样的改变有影响,平衡模型
在功能上接近(等效于)HPF(高通滤波器)或LPF(低通滤波器)。
到现在为止,上面已经描述了在平衡模型下升高具有正值的系数值的情
况,但是,在例如降低具有正值的系数值,即沿着负方向改变的情况下,正
值沿着负方向改变,而具有负值的系数值沿着正方向改变。并且在升高具有
负值的系数值的情况下,具有正值的系数值沿着负方向改变,而负系数向正
方向改变,而在降低具有负值的系数值的情况下,正系数值沿着正方向改变,
和负系数值沿着负方向改变。对于平衡模型,在所有情况下,使系数的值沿
着保持整个收支的平衡的方向改变。
如上所述,在改变系数值的改变量大于阈值S11的情况下,改变处理单
元332通过如图50所示的弹簧模型改变与其它抽头相对应的系数值,并且在
系数值的改变量小于阈值S11的情况下,通过如图51所示的平衡模型改变与
其它抽头相对应的系数的系数值。这是由于在一个系数的改变量大的情况下,
从每个系数值的整个收支的角度来看,通过改变来保持整个平衡是反常的,
因此,应用这种弹簧模型,而在改变量小的情况下,改变系数对整个收支的
影响小,因此,进行改变,以便保持整个平衡。
现在,通过操作操作单元202改变除了已改变系数值之外的其它系数的
模型不局限于这些,只要从总体上系数值的总值是1,任何模型都够。此外,
在如上所述的情况下,根据通过操作操作单元202改变的系数的改变量的幅
度切换改变其它系数的模型,但是,改变其它系数的模型可以是固定的。
接着,参照如图52所示的流程图描述如图41所示的优化设备301的图
像优化处理。现在,这个图像优化处理由系数改变处理和映射处理组成。映
射处理与参照图35和图38所述的映射处理相同,因此,这里只描述系数改
变处理。
在步骤S291中,系数改变单元322(图42)的改变处理单元332判断是
否已经从操作单元202输入操作系数值的操作信号。也就是说,在用户认为
显示在显示单元203上的图像是与他/她的偏爱相匹配的东西的情况下,这里
利用存储在系数存储器321(图41)中的系数组进行映射处理,但是,在做
出与偏爱不相匹配的判断的情况下,进行操作,改变要用于映射处理的存储
在系数存储器321中的系数组。
例如,在步骤S291中,在做出已经输入操作系数的操作信号的判断的情
况下,即在已经对操作单元202进行了操作,以便改变存储在系数存储器321
中的系数之一的系数值的情况下,流程转到步骤S292。
在步骤S292中,改变处理单元332控制系数读/写单元331读出存储在
系数存储器321中的系数组,然后流程转到步骤S293。在步骤S293中,改
变处理单元332判断作为操作信号输入的系数值与事先包含在系数组中的值
相比是否存在大于或等于预定阈值S11的变化。例如,在步骤S293中做出作
为操作信号输入的值与存储在系数存储器321中的系数组中的值之间的变化
大于或等于阈值S11的情况下,流程转到步骤S294。
在步骤S294中,改变处理单元332利用如图50所示的弹簧模型改变包
含在系数组中的系数的值,然后处理流程转到步骤S295。
另一方面,在步骤S293中做出作为操作信号输入的值与存储在系数存储
器321中的系数组中的值之间的变化不大于等于阈值S11的情况下,处理流
程转到步骤S296。
在步骤S296中,改变处理单元332利用如图51所示的平衡模型改变包
含在系数组中的系数的值,然后处理流程转到步骤S295。
在步骤S295中,改变处理单元332控制系数读/写单元331,以便把改变
的系数组值覆盖和存储到系数存储器321中,处理返回到步骤S291,随后,
重复相同的过程。
在步骤S291中做出还没有对操作值进行操作的判断的情况下,即在用户
已经判断出显示在显示单元203上的图像与他/她的偏爱相匹配的情况下,流
程返回到步骤S291,随后,重复相同的处理。
由于上面的系数改变处理,用户可以改变用于映射处理的系数组,从而
执行最适合用户的处理。现在,改变系数组的系数的值意味着改变由映射处
理单元311进行的映射处理的“处理的内容”。
此外,对于图52中的系数改变处理,在系数的改变幅度大于等于预定阈
值S11的情况下,利用弹簧模型,根据已经对其进行了操作的系数的值改变
系数组中的所有系数值,并且在这个值小于阈值S11的情况下,利用平衡模
型改变系数组中的所有系数值,以便使改变系数组的算法发生改变。因此,
在如图41所示的优化设备301的处理单元311上,“处理的内容”,以及“处
理的结构”也随用户的操作而改变,从而进行最适合用户的信号处理。
此外,如上所述,在通过最小N次方误差法获得存储在系数存储器321
中的系数组的情况下,可以做出这样的安排,即例如将与多个指数N相对应
的系数组事先存储在系数存储器321中,系数改变单元322在根据用户操作
从操作单元202输入操作信号之后,改变与指定指数N相对应的系数组。在
这种情况下,存储在系数存储器321中的系数组被改变成与根据用户操作从
操作单元202输入的指数N相对应的通过最小N次方误差法生成的那些系数
组,即被改变成通过不同系数组生成算法生成的系数组,因此,可以认为,
已经改变了“处理的结构”。
接着,参照图53描述为如图41所示的优化设备301配备了内部信息生
成单元371的实施例。请注意,在图53中,除了已经配备了内部信息生成单
元371这一点之外,这个优化设备与如图41所示的优化设备301相同。
内部信息生成单元371读出例如存储在系数存储器321中的系数组,作
为处理单元311的内部信息,将该系数组转换成可以显示在显示单元203上
的图像信号,然后将其输出到显示单元203并显示。
接着,参照图54中的流程图描述如图53所示的优化设备301的图像优
化处理。这个图像优化处理以与如图41所示的优化设备301进行的图像优化
处理相同的方式,也由系数改变处理和映射处理组成,但是,映射处理与参
照图35和图38所述的映射处理相同,因此,这里只描述系数改变处理。
对于系数改变处理,在步骤S311到S315中分别进行与图52中的步骤
S291到S295中的处理相同的处理。
在步骤S315中,与图52中的步骤S295中的情况一样,在把转换后系数
组存储在系数存储器321中之后,流程转到步骤S317,在步骤S317中,内
部信息生成单元371读出存储在系数存储器321中的系数组的系数值,将这
些系数值转换成可以显示在显示单元203上的图像信号,将其输出到显示单
元203,并且显示它们。此时,显示单元203可以利用例如像如图39所示的
三维分布图或如图40所示的二维分布图那样的形式显示系数组的系数值。
在步骤317中的处理之后,流程返回到步骤S311,随后重复相同的处理。
根据图54中的系数改变处理,存储在系数存储器321中的系数组的值被
显示成内部信息,因此,用户可以一边观看系数组,一边操作操作单元202,
以便获取执行最适合用户的处理的系数组。
此外,对于映射处理单元222(图31)的乘积之和计算单元252,取代
表达式(39)中的线性表达式,可以通过计算二阶或更高阶的更高阶表达式
获得输出信号。
接着,参照图55描述从作为输入信号的图像信号中提取telop部分的优
化设备401的配置例。
优化设备401的特征检测单元411根据从操作单元402输入的操作信号,
检测与用作输入信号的图像信号的每个像素相关而已经指定的两种类型特
征,并且将检测的特征信息输出到处理判定单元412。此外,特征检测单元
411把用作输入信号的图像信号存储在内部缓冲器421中,直到从输入的图
像信号中提取到telop为止,并且把图像信号输出到处理单元413。操作单元
402与如图41和图53所示的操作单元202相同。请注意,特征检测单元411
不仅仅局限于检测与用作输入信号的图像信号的每个像素相关而已经指定的
两种类型特征,而是例如可以同时检测多种类型的特征,并且输出这些特征
当中的两种类型指定特征,或者,同时检测两种或更多种类型的特征和同时
输出这些特征。
处理判定单元412根据从特征检测单元411输入的特征判定例如后面的
处理单元413以像素递增的方式对图像信号进行的处理,并且把判定的处理
内容输出到处理单元413。
处理单元413使从缓冲器421读出的用作输入信号的图像信号经受以像
素递增的方式从处理判定单元412输入的处理内容的处理,将结果输出到显
示单元403,并且显示它们。
接着,参照图56描述特征检测单元411的配置。特征检测单元411的缓
冲器421临时存储作为输入信号的图像信号,并且将这些图像信号供应给处
理单元413。特征提取单元422从用作输入信号的图像信号中提取由特征选
择单元423选择的两种类型特征,并且将这些特征输出到处理判定单元412。
特征选择单元423根据从操作单元402输入的操作信号,向特征提取单元422
供应指定要从输入信号中提取的特征的信息。可以选择的特征是例如图像信
号的每个像素的亮度值、Laplacian(拉普拉斯算子)、Sobel、帧间差异、场
(field)间差异、背景差异和从预定范围内的特征获得的值(和、平均值、
动态范围、最大值、最小值、中心值或方差等)等,但是也可以是其它特征。
接着,参照图57描述处理判定单元412的配置。处理判定单元412的特
征识别单元431识别从特征检测单元421输入的特征的多种类型,并且与指
示识别的特征的类型的信息一起,把特征本身输出到处理内容判定单元432。
处理内容判定单元432根据从特征识别单元431输入的指示特征类型的信息
和特征本身,为事先存储在处理内容数据库433中的每个特征判定处理的内
容组,并且把判定的处理内容输出到管理单元413。
接着,参照图58描述处理单元413的配置。处理单元413的处理内容识
别单元441识别从处理判定单元412输入的处理内容,并且指令处理执行单
元442执行已经识别的处理。处理执行单元442根据来自处理内容识别单元
441的对每个像素的指令,让通过缓冲器421输入的输入信号经受指定处理,
把这些输入信号转换成可以显示在显示单元202上的图像信号和将其输出到
显示单元403,然后显示它们。
请注意,如图55所示的优化设备401用于从图像信号中提取telop,因
此,处理内容是是否提取每个像素作为telop部分(是否显示)的处理,但是,
也可以让图像信号经受其它处理,并且这可以是对于被识别为telop部分的像
素没有改变地输出输入信号、而不输出被识别为非telop部分的像素的处理。
此外,为了便于描述,将作为输入信号输入的图像描述为单帧静止图像。但
是,图55中的优化设备401也可应用于运动图像。
接着,参照图59中的流程图,描述利用如图55所示的优化设备进行的
telop提取优化处理。
在步骤S331中,特征检测单元411的特征提取单元422判断特征选择单
元423是否已经选择了两种类型的特征,并且重复该处理直到选择这些特征
为止。也就是说,重复步骤S331中的处理,直到根据与用户操作操作单元
402输入的特征的类型相对应的操作信号、将指示特征选择单元423选择的
特征的信息输入特征提取单元422中。例如,在做出已经从特征选择单元423
输入选择特征的信息的判断的情况下,即在做出用户已经操作了操作单元402
和选择了两种类型的特征的判断的情况下,处理转到步骤S332。
在步骤S332中,特征提取单元422为每个像素从作为输入信号的图像信
号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。
此时,作为输入信号的图像信号被存储在缓冲器421中。
在步骤S333中,处理判定单元412根据输入特征的两种类型,为每个像
素判定处理内容,并且将这些处理内容输出到处理单元413。更详细地说,
特征识别单元431识别输入特征的两种类型,并且把识别的特征类型和特征
本身输出到处理判定单元412。并且,处理判定单元412从为每个像素输入
的特征的两种类型判定处理内容。更具体地说,对于作为特征A和特征B任
意两种类型(特征A,特征B)的组合的每一种,将特征A和特征B的每个
值与有关具有特征A和B的像素的处理内容(在这种情况下,是否是telop
的信息)相关联的称为LUT(查找表)的表格被存储在处理内容数据库433
中,而处理内容判定单元432根据现在要处理的感兴趣像素的(特征A,特
征B)的组合引用LUT,并且判定相应的处理,即是否作为telop来处理,并
且把这个结果输出到处理单元413。此外,这个LUT通过事先从例如只有telop
的图像中提取多个特征、并且通过与组合是telop的信息相关联而生成。LUT
的细节以后再述。
在步骤S334中,处理单元413按照从处理判定单元412输入的处理内容,
处理通过缓冲器421输入的作为输入信号的图像信号,将这些图像信号转换
成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并
且显示它们。更详细地说,处理单元413的处理内容识别单元441识别从处
理判定单元412输入的处理内容,并且指令处理执行单元442执行与相应像
素相关而已经判定的处理。处理执行单元442读出存储在缓冲器421中作为
输入信号的图像信号,执行与每个像素相对应的处理,将这些图像信号转换
成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并
且显示它们。
在步骤S335中,特征检测单元411判断telop是否得到提取。也就是说,
在用户观看显示在显示单元403上的图像和没有判断telop得到提取的情况
下,对操作单元402进行操作,以便再次改变特征的组合和尝试telop提取处
理。一旦与这个操作相对应从操作单元402输入操作信号,处理流程返回到
步骤S331,重复随后的处理。
另一方面,在根据用户的主观做出telop得到提取的判断的情况下,通过
用户操作操作单元402把指示处理完成的操作信号输入特征检测单元421,
并且处理到此为止。
也就是说,重复步骤S331到步骤S335的处理,直到用户通过观看显示
在显示单元403上的图像可以判断出由于上述处理telop已得到提取为止,从
而,可以设置最适合用户的特征的组合,和可以从用作输入信号的图像信号
提取telop。现在,在上述中,两种类型的特征用于判定处理内容,但是,也
可以做出这样的安排,即由类型数量不同于那数量的特征判定处理内容。此
外,也可以做出这样的安排,即在步骤S331中的处理中,通过与用户在操作
单元402上所作的预定操作(例如,发出向上或向下指令的按钮操作等)相
对应的操作信号,以预定次序依次切换多种特征的组合,从而,使用户无需
对特征的类型给予特别关注就可以切换和输入特征。
在上面的处理中,在处理单元413上根据用户对操作单元402的操作改
变特征检测单元411检测的特征的类型,从而使telop得到检测。在特征检测
单元411上检测的特征的类型的改变意味着在处理判定单元上的处理内容判
定算法的改变,因此,可以认为,在特征检测单元411上,“处理的结构”也
发生改变。
此外,如上所述,可以在特征检测单元411上做出特征的各种类型的检
测,但是,一些特征的检测需要设置像滤波系数等那样的参数,以便检测例
如Laplacian。可以使检测特征的参数随操作单元402的操作而改变,但是,
根据这个参数变化,在特征检测单元411上检测的特征本身的类型不发生改
变,但被检测的特征的类型发生改变。因此,可以认为,检测这些特征的参
数的改变是特征检测单元441的“处理的内容”的改变。
接着,参照图60描述如图55所示的优化设备401配有内部信息生成单
元511的优化设备501的配置。除了配有内部信息生成单元511之外,如图
60所示的优化设备501在配置上基本与如图55所示的优化设备401相同。
优化设备501的内部信息生成单元511提取例如从特征检测单元411的
特征选择单元423输出的特征收集信息,作为内部信息,并且在显示单元403
上显示当前选择的特征的类型。
现在,参照图61中的流程图描述优化设备501执行的telop提取优化处
理。
注意,这个处理基本上是与参照图59中的流程图所述的、如图56所示
的优化设备401执行的telop提取优化处理相同的处理,不同之处在于,已经
加入了显示指示已经选择的特征的类型的信息的处理。
也就是说,在步骤S341中,特征检测单元411的特征提取单元422判断
特征选择单元423是否已经选择了两种类型的特征,并且重复该处理直到选
择它们。例如,在做出已经从特征选择单元423输入选择特征的信息的判断
的情况下,即在做出用户已经操作了操作单元402和选择了两种类型的特征
的判断的情况下,处理流程转到步骤S342。
在步骤S342中,内部信息生成单元511提取指示特征选择单元423已经
选择的特征的两种类型的信息,并且在显示单元403上显示已经选择的两种
特征的类型的名称。
随后,在步骤S343到步骤S346中分别进行与步骤S332到步骤S335中
的处理相同的处理。
根据图61中的处理,显示(呈现)了作为与特征检测单元411的处理相
关的内部信息的、当前选择的特征的类型,因此,用户在明白当前选择的特
征的类型的同时,可以设置最适合从用作输入信号的图像信号中精确地提取
telop的特征的组合。
现在,像如后所述的图65和图67所指的那样,内部信息生成单元511
能够例如生成与每个像素有关的、由特征检测单元411检测的两种类型特征
的值的分布,作为内部信息,并且在显示单元403上显示它。
此外,如上所述,在根据操作单元402的操作改变检测特征的参数的情
况下,内部信息生成单元511可以在显示单元403上显示(呈现)作为内部
信息的参数。
接着,参照图62,描述被安排成配有从处理判定单元412中生成内部信
息的内部信息生成单元412、代替如图60所示的内部信息生成单元511的优
化设备601的配置例。
除了配备内部信息生成单元611来代替如图60所示的内部信息生成单元
511之外,以与图60中的优化设备501相同的方式配置如图62所示的优化
设备601。
内部信息生成单元611根据由处理判定单元412的处理内容判定单元432
判定的处理内容和显示在显示单元403上的、实际提取的特征的两种类型,
生成在两种类型的特征用作坐标轴时经受telop提取的像素和没有经受telop
提取的像素的分布图(例如,图65、图67),作为内部信息。
接着,参照图63中的流程图描述如图62所示的优化设备601执行的telop
提取优化处理。
请注意,除了显示有关在两种类型的选择特征用作坐标轴时像素是否经
受过telop提取的分布的处理那一点之外,这个处理基本上是与参照图61中
的流程图描述的、如图60所示的优化设备501进行的telop提取优化处理相
同的处理。
也就是说,在步骤S351中,特征检测单元411的特征提取单元422判断
特征选择单元423是否已经选择了两种类型的特征,并且重复该处理直到选
择这些特征为止。例如,在做出为选择特征已经从特征选择单元423输入信
息的判断的情况下,即在做出用户已经操作了操作单元402和选择了两种类
型的特征的判断的情况下,处理流程转到步骤S352。
在步骤S352中,特征提取单元422为每个像素从用作输入信号的图像信
号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。
此时,作为输入信号的图像信号被存储在缓冲器421中。
在步骤S353中,处理判定单元412根据输入特征的两种类型,为每个像
素判定处理内容,并且将这个处理内容输出到处理单元413。
在步骤S354中,处理单元413按照从处理判定单元412输入的处理内容,
处理从缓冲器421读出的作为输入信号的图像信号,将这些图像信号转换成
可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并且
显示它们。
在步骤S355中,内部信息生成单元611生成画出处理判定单元412的处
理内容判定单元判定的处理内容的分布图,而把两种类型的特征当作坐标轴,
作为内部信息,并且在显示单元403上显示它。
在步骤S356中,特征检测单元411判断telop是否得到提取。在步骤S356
中,在从操作单元202输入与用户操作相对应的操作信号和被视为没有提取
telop的情况下,处理流程返回到步骤S351,重复随后的处理。
另一方面,在步骤S356中,在通过用户操作操作单元402把指示处理结
束的操作信号输入特征检测单元421的情况下,处理即告结束。
也就是说,让我们假设例如输入像图64所示那样作为输入信号的图像信
号。在图64中,就背景图像(这里,不是telop的部分)而言,“TITLE ABC”
被当作telop显示在图的中央。
在步骤S355中,如图65所示的二维分布图那样,例如,内部信息生成
单元611显示指示是否已经提取成telop的分布,而把从如图64所示那样的
图像信号中检测的两种类型的特征当作各自的坐标轴。
在图65中的例子中,Laplacian和帧间差异是已经选择的两种类型特征,
图中的圆圈表示已经提取成telop的像素,和“×”表示与还没有经过telop提取
有关的像素。对于图65中的例子,经过telop提取的像素和没有经过telop提
取的像素在分布中是无边界的(telop像素和非telop像素之间的分布是分不
开的)。在这种分布的情况下,telop往往不是从背景图像中提取出来,并且
例如如图66所示,处在telop部分附近形成边界621和622的状态下,而不
是telop部分本身就是边界。
在这样的情况下,用户将判断telop没有得到提取,并且重复步骤S351
到S356中的处理。在由于重复这个处理而选择的特征是Laplacian和(17个
像素×17个像素)(中心在感兴趣像素上的17像素×17像素范围内的像素的每
个Laplacian之和)以及亮度DR(对于每个像素的亮度值,中心在感兴趣像
素上的17像素×17像素范围内的像素的动态范围)的情况下,生成像如图67
所示那样的分布图。在这种情况下,在图67中,作为telop提取的像素的分
布和不是作为telop提取的像素的分布看起来是分离的。这表明,输入图像和
其它部分中的telop被划分为在Laplacian和以及亮度DR的组合被选为特征
的情况下的分布。一旦获得这样的分布,作为从每个像素检测的特征的
Laplacian和以及亮度DR经受阈值处理等,从而,如图68所示,使telop部
分得到精确提取。
因此,由于如上所述的处理,步骤S351到S356中的处理被不断重复,
直到用户可以通过观看显示在显示单元403上的图像和把两种所选类型的特
征作为坐标轴的二维分布、从而判断telop得到提取为止,使得从有关处理判
定单元412的处理的用作内部信息的特征、要检测为telop的像素以及背景像
素的分布被显示出来,从而用户可以操作操作单元402,以便精确地从作为
输入信号的图像信号中提取telop,同时明白从特征要检测为telop的像素和
背景像素的分布,从而设置最适合用户的特征的组合。
接着,参照图69,对取代如图62所示的优化设备601的处理判定单元
412、配有处理判定单元711的优化设备701的配置加以描述。对于优化设备
701,除了在处理判定单元412那一级配备处理判定单元711之外,该配置与
如图62所示的优化设备601的那些配置相同。
处理判定单元711根据来自操作单元702(与操作单元402相同)的操
作信号,改变处理内容数据库433中的LUT的内容,并且还根据从特征检测
单元411输入的特征,判定后面的处理单元413对图像信号进行的处理,并
且把处理内容输出到处理单元413。
接着参照图70描述处理判定单元711。基本配置与如图50所示的处理
判定单元412相同,但是,配备处理内容判定单元721来取代处理内容判定
单元432。处理内容判定单元721根据从操作单元702输入的操作信号,改
变为存储在处理内容数据库433中的两种类型特征的每一个组合判定处理内
容的LUT。更详细地说,LUT是这样设置的,使在没有改变地显示作为输入
信号的图像信号的状态下由操作单元202指定为telop的区域中像素的特征被
认为是telop,而其它区域被处理成非telop。
改变LUT之后,处理内容判定单元721根据识别从特征识别单元431输
入的特征的信息和特征本身,为存储在处理内容数据库433中的特征的每一
个判定事先设置的处理内容,并且把判定的处理内容输出到处理单元413。
接着,参照图71中的流程图描述如图69所示的优化设备701进行的telop
提取优化处理。
在步骤S361中,没有改变地在显示单元403上显示作为输入信号的图像
信号。更具体地说,特征检测单元411的缓冲器421接收用作输入信号的图
像信号和存储这些图像信号,处理单元413没有改变地读出存储在缓冲器421
中作为输入信号的图像信号,并且不作任何处理地将这些图像信号输出到显
示它们的显示单元403。
在步骤S362中,处理判定单元711的处理内容判定单元721判断操作单
元702是否已经指令telop和背景。也就是说,让我们假设例如在步骤S361
中的处理中显示像如图72所示那样的未经处理图像信号。此时,用户通过操
作单元702(通过拖拉、点击等)操作指针741,以通过范围742等指定一般
telop部分,并且如图73所示,重复处理,直到指定telop部分752和在图72
中的范围742之外的背景部分751为止,把指定telop和背景部分的那个点和
指定远景的相应像素部分存储在内置存储器(未示出)中,然后处理流程转
到步骤S363。
在步骤S363中,特征检测单元421的特征选择单元423判断选择预定两
种类型的特征的操作信号是否已经从操作单元202输入,重复该处理,直到
指定预定两种类型的特征为止,并且一旦选择了预定两种类型的特征,处理
流程就转到步骤S364。
在步骤S364中,特征提取单元422根据输入到特征选择单元423的用于
选择特征类型的信息,提取从输入信号中选择的两种类型的特征,并且把这
些特征输出到处理判定单元711。
在步骤S365中,内部信息生成单元611根据输入到处理判定单元711的
两种类型的特征和为telop和背景指定的像素位置的信息,生成把两种类型的
特征作为其坐标轴的二维分布图,并且在步骤S366中,在显示单元403上显
示二维分布图。更详细地说,处理判定单元711的特征识别单元431识别特
征的类型,把指示类型的信息和特征本身输出到处理内容判定单元721,并
且除了指示特征和其类型的信息之外,处理内容判定单元721还把指示为
telop和背景指定的像素位置的信息输出到内部信息生成单元611,以便内部
信息生成单元611根据例如指示为telop和背景指定的像素位置的信息,生成
像如图74所示那样特征的二维分布图。也就是说,对于图74中的例子,显
示了把Laplacian和帧间差异选为特征的例子,其中,图中的圆圈表示telop
像素,图中的“×”表示被指定为背景的像素。对于图74中的二维分布图,例
如就特定像素而言,在X的值上检测Laplacian,在Y的值上检测帧间差异,
并且在像素被指定为telop的情况下,在二维分布图上的(X,Y)位置上显
示圆圈,而在指定背景的情况下,在那个相同位置上显示“×”。
在步骤S367中,处理内容判定单元721判断是否已经输入指示已经对
telop和背景已经分离做出判断的操作信号。也就是说,例如,在像如图74
所示那样的二维分布的情况下,指示telop的圆圈的分布和指示背景的“×”的
分布不能被认为是完全分离的,因此,理所当然,不能期望在显示屏幕上提
取出telop,并且在例如如图73所示的、背景和telop处在没有分离的状态的
多数情况下,生成边界753将背景部分751和telop部分752分离。在这种用
户判断telop没有得到提取的情况下,在用户试图再次改变特征的那一时刻,
操作单元702按照用户所作的操作,向处理判定单元711的处理内容判定单
元721输出指示还没有实现分离的操作信号。在这种情况下,在步骤S367中,
做出不存在指示telop和背景已经分离的判断的操作信号的判断,因此,处理
流程返回到步骤S363,并且重复随后的处理。这个处理意味着再次选择两种
类型的特征。
此外,在例如如图75所示通过步骤S366中的处理将指示telop部分的圆
圈和指示背景的“×”分离到一定程度的情况下,用户操作操作单元702,向处
理判定单元711的处理内容判定单元721输出指示已经实现了分离的操作信
号。在这种情况下,做出在步骤S367中已经输入指示telop和背景已经分开
的判断的操作信号的判断,然后处理流程转到步骤S368。
在步骤S368中,处理内容判定单元721判断是否在二维分布上已经指令
telop部分。也就是说,如图75所示,做出是否通过例如操作单元702输入
了利用指针741把范围761指定为在显示的分布上分布着指示telop的大量圆
圈的范围的操作信号的判断,重复该处理,直到该范围得到指定为止,并且
一旦做出已经指定了这个范围的判断,处理流程转到步骤S369。
在步骤S369中,处理内容判定单元721根据已经通过操作单元702输入
的在如图75所示的范围761中指定的操作信号,改变处理内容:指示是否已
经进行了与特征的组合相对应的telop提取的LUT,并且按照输出到处理单元
413的改变LUT,判定处理内容,而处理单元413按照输入的处理内容,从
已经通过缓冲器421输入的用作输入信号的图像信号中提取telop,并且在显
示单元403上显示这些telop。更详细地说,处理内容判定单元721根据从操
作单元702已经输入的、指示在像如图75所示那样的二维分布上的范围的信
息,更新处理内容数据库433中的LUT,以便提取与作为telop分布在指定范
围内的像素相对应的两种类型的特征的组合,并且按照更新的LUT,为每个
像素判定输出到处理单元413的处理内容。
在步骤S370中,处理内容判定单元721判断是否已经做出telop已经得
到提取的判断。也就是说,做出用户判断telop得到提取或判断telop没有得
到提取的判断。例如,如图76所示,在通过步骤S369中的处理将输出图像
显示在显示单元403上的状态下,telop部分和背景部分之间的边界771和772
不是telop本身,因此,不能认为telop完全得到提取。于是,在从用户的角
度来看,telop被判断为没有得到提取的情况下,用户操作操作单元702,输
入指示telop还没有得到提取的操作信号。一旦接收到这些操作信号,处理判
定单元711的处理内容判定单元721在步骤S370中做出telop没有得到提取
的判断,然后处理流程转到步骤S371。
在步骤S371中,对是否在二维分布上为telop重新指定范围做出判断,
并且在对还没有选择在二维分布上为telop重新指定范围做出判断的情况下,
处理流程返回到步骤S368,重复随后的处理。
另一方面,在步骤S370中,在例如通过步骤S371中的处理已经选择了
为telop指定范围的情况下,在步骤S368中设置如图77所示使存在指示telop
的圆圈的分布的部分与图75中的范围761相比已经变窄的范围781(使包含
更多地作为telop提取的大量圆圈的部分变窄的范围)。也就是说,在图75中,
即使在把特征分布上的范围761设置成telop部分的情况下,其后果是,如图
76所示,telop部分和背景部分之间的边界771和772也不是telop本身,因
此,telop没有完全得到提取。
因此,用户操作操作单元702,把比范围761窄的范围781设置成在特
征分布上的范围(指定成telop部分的那一部分的范围)。这样设置范围使特
征分布上要作为telop提取的范围变窄,也就是说,背景部分更容易地得到消
除。但是,要作为telop提取的范围被忽略得太多使telop本身不容易得到提
取,因此,用户通过一边看提取的telop一边重复这样的操作,搜索最佳telop
提取状态。
一旦状态是例如像如图78所示那样,telop得到提取的状态,并且在用
户在步骤S370中判断telop得到提取的情况下,用户操作操作单元702,并
且把指示已经做出telop已经得到提取的判断的操作信号输入到处理判定单
元711的处理内容判定单元721,因此,做出telop得到提取的判断,然后处
理即告结束。
此外,在步骤S371中做出这没有指定telop的范围的判断的情况下,处
理流程返回到步骤S363,重复随后的处理。
由于这样的处理,首先,用户在作为输入信号的图像信号上选择telop和
背景的两种类型特征,并且通过观看选择的telop和背景如何形成把选择的特
征作为其两根坐标轴的二维分布,改变二维分布上telop的范围(使其变窄),
或者,改变两个所选特征,并且进一步观看那个提取的telop,和重复这个处
理,直到状态是用户偏爱的那个状态为止,从而,实现与用户的偏爱相匹配
的telop提取处理。在步骤S362中的处理中做出已经指令telop和背景的判断
的情况下,telop和背景的范围的指令用于随后选择两种类型的特征或生成用
作使二维分布上的telop变窄的模板的信息就足够了,因此,范围可还一般。
在上面的处理中,根据用户选择的两种类型的特征的组合,划分成telop
或背景处理,因此,这意味着通过用户操作已经改变了“处理的内容”。
此外,对于上面的处理,特征的类型是由通过操作单元402指定的特征
的两种类型确定的,但是,也可以做出这样的安排,即例如如图79所示,两
种类型的特征的组合可以通过按下操作单元702上的预定操作按钮发送作为
操作信号的向上或向下指令来改变。也就是说,可以做出这样的安排,即作
为初始状态,通过状态A中所指的特征a和b的组合进行处理,然后发出向
下指令通过状态B中所指的特征b和c的组合进行处理,并且发出向下指令
通过状态C所指的特征c和d的组合进行处理,其中,在状态C下指定向上
的情况下,返回到状态B,并且在状态B下指定向上的情况下,返回到状态
A。由于这样的安排,用户可以无需对特征的类型给予特别关注,一个接一
个地改变特征,因此,可以有效地使提取telop的特征的组合变窄。
接着,参照图80,对取代图55中的优化设备401的特征检测单元411、
配有能够从已经存在的特征中生成新特征的特征检测单元811的优化设备
801的配置加以描述。在图80中,除了配备特征检测单元811取代图55中
的优化设备401的特征检测单元411之外,其配置是相同的。
并且操作单元802与操作单元402相同。
如图80所示的特征检测单元811的配置将参照图81加以描述。对于特
征检测单元811,缓冲器421和特征提取单元422与如图56所示的特征检测
单元411相同。这个特征选择单元821根据从操作单元802输入的指定特征
的操作信息,控制特征提取单元422,以便从事先提供的特征当中提取已经
指定的两种类型特征,并且将这些特征输出到处理判定单元413,或者,把
事先存储在特征数据库823中的特征输出到处理判定单元413。更详细地说,
特征数据库823存储与特征的类型有关的特征信息和特征的检测方法。特征
提取单元422从特征数据库823中读出与特征选择单元821所选的特征的类
型相对应的特征信息,并且按照记录在特征信息中的特征检测方法,从输入
信号中检测所选特征。
事先提供的特征信息是图像信号的每个像素的亮度值、Laplacian、Sobel、
帧间差异(例如,感兴趣像素(x,y)的帧间差异用fs(x,y)=f0(x,y)-f1(x,
y)表示,其中,f0(x,y)表示当前感兴趣像素,而f1(x,y)表示前一个帧在相
同空间位置上的像素)、场间差异、背景差异、导数值(例如,感兴趣像素(x,
y)的导数值fb(x,y)用fb(x,y)=4×f0(x,y)-f0(x-1,y)-f0(x+1,y)-f0(x,
y+1)-f0(x,y-1)表示,其中,f0(x,y)表示当前感兴趣像素,和f0(x-1,y)、f0(x+1,
y)、f0(x,y+1)和f0(x,y-1)表示在空间上沿着x和y方向每次去除一个像素的
像素)和从预定范围内的特征中获得的值(和、平均值、动态范围、最大值、
最小值、中心值或方差等)等,但是,也可以是其它。
特征变更单元822根据用户输入的操作信号,从存储在特征数据库823
中的特征中生成新的特征。更详细地说,特征变更单元822将根据用户输入
的操作信号,从存储在特征数据库823中的特征信息中生成新的特征信息,
并且特征提取单元422根据这个特征信息提取新的特征。
此外,假设存在存储在特征数据库823中的、作为特征的类型的、特征
A、B和C的特征信息,可以做出这样的安排,即可以使特征A的DR(动态
范围:有关通过为存在于相对感兴趣像素的预定位置上的多个像素读出特征
A的值而生成的值,和对每个像素作为最大值和最小值之差的值的获得)成
为与新特征A′相对应的特征信息,或者,通过类似地获得和、平均值、动态
范围、最大值、最小值、中心值、方差、其值大于或等于阈值(也可以设置
阈值)的像素数量、或多个特征之间的线性组合,使其成为新的特征信息。
请注意,多个特征之间的线性组合是例如在预定数量的像素的Laplacian是
Xa、Soble是Xb和帧间差异是Xc以及对这三种类型的特征加以线性组合的情
况下,将这三种类型的特征乘以系数,并且相加,即A×xa+B×xb+C×xc是这
个像素的新特征。这里,A、B和C是系数,并且在例如telop提取的情况下,
像参照图43和图44所述的那样,当通过操作单元802为telop部分已经一般
指定的范围中的像素当作教师数据和多个特征当作学生数据时,通过学习处
理可以获得这些系数。在图81中,对于存储在特征数据库823中的特征,特
征A到C表示特征提取单元422提取的特征的类型和特征A′到C′表示由特征
变更单元822从特征A到C变更而来的特征的类型(实际存储的是每一个的
特征信息(特征的类型和表示其检测方法的信息))。
存储在特征数据库823中的特征信息可以是存储时指定存储特征提取单
元422提取的定时的那些特征信息,可以是特征变更单元822变更事先存储
在特征数据库823中的特征信息的那些特征信息,或者可以利用其它方法存
储。
接着,参照图82的流程图描述图80中的优化设备801进行的telop提取
优化处理。在步骤S381中,特征检测单元411的特征提取单元422判断特征
选择单元821是否已经选择了两种类型的特征,并且在还没有选择的情况下,
处理流程转到步骤S386。此外,在例如做出选择特征的信息已经从特征选择
单元423输入的判断的情况下,即在做出用户已经操作了操作单元802和选
择了两种类型的特征的判断的情况下,处理流程转到步骤S382。
在步骤S382中,特征提取单元422为每个像素从作为输入信号的图像信
号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。
此时,作为输入信号的信号被存储在缓冲器421中。
在步骤S383中,处理判定单元412根据输入的两种类型特征,为每个像
素判定处理内容,并且输出到处理单元413。
在步骤S384中,处理单元413按照从处理判定单元412输入的处理内容,
处理通过缓冲器421输入的作为输入信号的图像信号,将这些图像信号转换
成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并
且显示它们。
在步骤S385中,特征检测单元411判断telop是否得到提取。也就是说,
用户观看显示在显示单元403上的图像,并且在没有判断telop已经得到提取
的情况下,对操作单元802进行操作,以便再次改变特征的组合和尝试telop
提取处理。在从操作单元802输入与这个操作相对应的操作信号的情况下,
处理流程返回到步骤S386。
在步骤S386中,特征检测单元811的特征变更单元822判断是否已经指
定了特征的变更,并且在不存在变更特征的指令的情况下,处理流程返回到
步骤S381。另一方面,在特征变更单元822在步骤S386中判断是否存在指
令特征的改变的、从操作单元802输入的操作信号的情况下,处理流程转到
步骤S387。
在步骤S387中,特征变更单元822判断是否已经指定了基本特征,并且
重复该处理,直到输入指定基本特征的信息为止。例如,在操作操作单元802
和输入指令特征A的操作信号的情况下,做出已经输入了作为输入信号的图
像信号中基于特征A的特征的判断,然后处理流程转到步骤S388。
在步骤S388中,特征变更单元822判断是否已经指令变更处理内容,并
且重复该处理,直到指令变更处理内容为止。例如,在操作操作单元802和
输入指令DR的操作信号的情况下,做出变量处理内容已经得到指定的判断,
然后处理流程返回到步骤S389。
在步骤S389中,特征变更单元822利用指定的变更处理内容变更指定的
特征,以获得存储在特征数据库823中的新特征,然后处理流程返回到步骤
S381。也就是说,在这种情况下,特征变更单元822从特征数据库823当中
读取特征A,并且获取作为其指定变更处理内容的DR,从而生成存储在特征
数据库823中的新特征A′,然后处理流程返回到步骤S381。
另一方面,在步骤S385中根据用户的主观做出telop得到提取的判断的
情况下,通过用户操作操作单元802把指示处理完成的操作信号输入特征检
测单元421,并且处理到此为止。
也就是说,重复步骤S381到步骤S389的处理,直到用户通过观看显示
在显示单元403上的图像可以判断出由于上述处理telop已得到提取为止,从
而,可以设置最适合用户的特征的组合,和可以从作为输入信号的图像信号
中提取telop,并且通过增加用户选择的特征的类型,可以设置甚至更多的特
征组合,从而进行最适合用户的处理。
在上面的处理中,根据用户已经指定的特征的两种类型判定处理内容,
并且从作为输入信号的图像信号中提取telop,因此,可以认为,“处理的内容”
是这样改变的,使得根据用户的操作获得用户所需的输出信号。此外,切换
特征的两根坐标轴(选择特征的两种类型),同时也设置新的特征(增加特征
的类型),并且通过特征的组合改变判定处理内容的算法(例如,是否处理成
telop),因此,可以认为,不仅“处理的内容”,而且“处理的结构”也发生改变。
此外,telop提取是通过切换要经过试错提取的特征的类型获得的,但是,
对于以固定方式利用特征的方法,需要重写程序或重建系统本身,以便改变
预期的特征,因此,系统必须被重建许多次,以通过发现获得最适用于telop
提取的算法,而实际上这是相当困难的。相反,对于基于本发明的优化设备,
可以实时提取新特征,和可以显示其特征分布,因此,用户进行的试错变得
更加容易,从而,提高了找出最适合telop提取的特征的可能性。
接着,参照图83描述通过为如图80所示的优化设备801配备特征检测
单元911和内部信息生成单元912而形成的优化设备901的配置。除了配备
特征检测单元911取代特征检测单元811,并且新配备了内部信息生成单元
912之外,如图83所示的优化设备901基本上与如图80所示的优化设备801
的配置相同。
接着,参照图84描述特征检测单元911的配置。特征检测单元911与图
81中的特征检测单元811基本上具有相同的配置,但是,配备特征选择单元
921来取代特征选择单元821,和配备特征变更单元922来取代特征变更单元
822。基本功能对于每一个都是相同的,但是,特征选择单元911的不同之处
在于,将所选特征那种类型的信息供应给内部信息生成单元912。此外,特
征变更单元922的不同之处在于,将与变更内容的指令有关的图像信息输出
到显示单元403。
内部信息生成单元912与如图60所示的内部信息生成单元511相同。此
外,操作单元902与操作单元402相同。
接着,参照图85中的流程图,描述利用如图83所示的优化设备901进
行的telop提取优化处理。现在,这个处理基本上与参照图82中的流程图所
述的处理相同,但是,不同之处在于,显示内部信息生成单元912选择的特
征。
也就是说,在步骤S391中,特征检测单元911的特征提取单元422判断
特征选择单元921是否已经选择了两种类型的特征,并且在还没有选择这些
特征的情况下,处理流程转到步骤S397。此外,在对例如选择特征的信息已
经从特征选择单元921输入做出判断的情况下,处理流程转到步骤S392。
在步骤S392中,内部信息生成单元912提取指示来自特征选择单元921
的两种所选类型特征的类型的信息,并且在显示单元403上显示两种所选特
征的类型的名称。
在步骤S393中,特征提取单元422为每个像素从作为输入信号的图像信
号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。
此时,作为输入信号的图像信号被存储在缓冲器421中。
在步骤S394中,处理判定单元412根据已经输入的特征的两种类型,为
每个像素判定处理内容,并且输出到处理单元413。
在步骤S395中,处理单元413按照从处理判定单元412输入的处理内容,
处理通过缓冲器421输入的作为输入信号的图像信号,将这些图像信号转换
成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并
且显示它们。
在步骤S396中,特征检测单元411判断telop是否已经得到提取。也就
是说,用户观看显示在显示单元403上的图像,并且在没有判断telop已经得
到提取的情况下,对操作单元902进行操作,以便再次改变特征的组合和尝
试telop提取处理。在从操作单元902输入与这个操作相对应的操作信号的情
况下,处理流程返回到步骤S397。
在步骤S397中,特征检测单元911的特征变更单元922判断是否已经指
定了特征的变更,并且在不存在变更特征的指令的情况下,处理流程返回到
步骤S391。另一方面,在步骤S397中,在特征变更单元922判断已经存在
指令特征的改变的、从操作单元902输入的操作信号的情况下,处理流程转
到步骤S398。
在步骤S398中,特征变更单元922显示例如如图86所示的变更内容的
指令屏幕。在图86中,在图的左侧配备了基本特征显示单元931,在上面显
示作为当前存储在特征数据库823中的特征的、用作基的特征。在这种情况
下,显示了特征A到C和A′到C′。此外,显示在图的右侧的是变更处理内容
选择空间932。在这种情况下,显示了DR、最大值、最小值、中心值、和、
方差、其值大于或等于阈值的像素数量和线性组合,以及设置与其值大于或
等于阈值的像素数量有关而提供的阈值的空间932a和在选择线性组合的情况
下选择特征的空间932b。并且,显示了尺度(scale)设置空间933,供设置
值的尺度之用。尺度值表示中心在感兴趣像素上的范围,并且是例如在检测
DR和把必要像素设置成3个像素×3个像素或者5个像素×5个像素等的情况
下、指示像素的范围的值。
在步骤S399中,特征变更单元922判断是否已经指定了用作基的特征,
并且重复该处理,直到输入指定用作基的特征的信息为止。例如,在操作操
作单元902和输入指令特征A的操作信号的情况下,做出已经为作为输入信
号的图像信号输入特征A作为用作基的特征的判断,然后处理流程转到步骤
S400。
在步骤S400中,特征变更单元922判断是否指令变更处理内容,并且重
复该处理,直到指令变更处理内容为止。例如,在操作操作单元902和输入
指令DR的操作信号的情况下,做出已经指令变更处理内容的判断,然后处
理流程转到步骤S401。
在步骤S401中,特征处理单元922利用指定的变更处理内容变更指定的
特征,将其存储在特征数据库823中,然后处理流程返回到步骤S391。
另一方面,在根据用户的主观做出telop得到提取的判断的情况下,通过
用户操作操作单元902把指示处理完成的操作信号输入特征检测单元421,
并且处理到此为止。
也就是说,由于如上所述的处理,用户在观看作为基的特征和变更处理
内容的同时,进行操作,并且据此可以识别由此可以进行最佳处理的特征。
并且随后,可以马上指定能够实现最适合用户的处理的特征。此外,通过按
照显示屏输入生成新特征所需的输入信息,可以使用户指定的特征的类型增
加,从而,可以有效地设置许多种特征的组合。
在上面的处理中,根据用户已经指定的特征的两种类型判定处理内容,
并且从作为输入信号的图像信号中提取telop,因此,可以认为,“处理的内容”
是这样改变的,使得根据用户做出的操作,可以获得用户所需的输出信号。
此外,切换特征的两根坐标轴(选择的特征的两种类型),同时也设置新的特
征(增加特征的类型),并且通过这些特征的组合改变判定处理内容的算法(例
如,是否处理成telop),因此,不仅“处理的内容”,而且“处理的结构”也发生
改变。
接着,参照图87描述取代如图83所示的优化设备901的内部信息生成
单元912、配有内部信息生成单元1011的优化设备1001的配置。在图S87
中,除了内部信息生成单元912被内部信息生成单元1011取代,以及处理判
定单元412被如图69所示的处理判定单元711取代之外,其结构与如图83
所示的优化设备901的结构相同。
内部信息生成单元1011基本上与内部信息生成单元912相同,但是进一
步读出处理判定单元412的处理内容判定单元432判定的、为每个像素判定
的处理内容的信息,并且在显示单元403显示它(已经加入了如图69所示的
内部信息生成单元611的功能)。
此外,操作单元1002与操作单元402相同。
接着,参照图88中的流程图描述利用如图87所示的优化设备1001进行
的telop提取优化处理。
在步骤S411中,特征检测单元911的缓冲器421接收作为输入信号的图
像信号和存储这些图像信号,并且处理单元413没有改变地读出存储在缓冲
器421中作为输入信号的图像信号,和没有任何处理地将这些图像信号输出
到显示它们的显示单元403。
在步骤S412中,处理判定单元711的处理内容判定单元721判断操作单
元1002是否已经指令telop和背景,重复该处理,直到指令telop和背景为止,
并且一旦指令telop和背景,处理流程转到步骤S413。
在步骤S413中,特征检测单元911的特征提取单元422判断特征选择单
元921是否已经选择了两种类型的特征,并且如果还没有选择,处理流程转
到步骤S421。此外,在做出例如特征选择单元921已经输入了选择特征的信
息的判断的情况下,处理流程转到步骤S414。
在步骤S414中,内部信息生成单元912提取指示特征选择单元921已经
选择的两种类型特征的类型的信息,并且在显示单元403上显示(呈现)已
经选择的两种类型特征的类型的名称。
在步骤S415中,特征提取单元422从作为输入信号的图像信号中为每个
像素提取所选两种类型的特征,并且将其输出到处理判定单元412。此时,
缓冲器421存储作为输入信号的图像信号。
在步骤S416中,处理判定单元711根据已经输入的两种类型特征,判定
每个像素的处理内容,并且将这些特征输出到处理单元413。
在步骤S417中,内部信息生成单元1011根据输入到处理判定单元711
的两种类型特征和为telop和背景指定的像素位置的信息,生成把两种类型特
征作为其坐标轴的二维分布,并且在步骤S418中,在显示单元403上显示二
维分布。更详细地说,处理判定单元711的特征识别单元431识别特征的类
型,并且把指示其类型的信息和特征本身输出到处理内容判定单元721,处
理内容判定单元721把指示背景中为telop指定的像素位置的信息以及指示特
征及其类型的信息输出到内部信息生成单元1011,从而,内部信息生成单元
1011根据指示为telop和背景指定的像素位置的信息,生成例如像图74所示
的那样的特征的二维分布图。
在步骤S419中,处理单元413按照从处理判定单元711输入的处理内容,
处理通过缓冲器421输入的、作为输入信号的图像信号,将这些图像信号转
换成可以显示在显示单元403上的图像信号,将其输出到显示单元403,并
且显示它们。
在步骤S420中,特征检测单元911判断telop是否被认为已经提取。也
就是说,用户观看显示在显示单元403上的图像,并且在没有判断telop已得
到提取的情况下,操作操作单元1002,以便再次改变特征的组合和尝试telop
提取处理。在从操作单元1002输入与这个操作相对应的操作信号的情况下,
处理流程转到步骤S421。
在步骤S421中,特征检测单元911的特征变更单元922判断是否已经指
定了特征的变更,并且在不存在变更特征的指令的情况下,处理流程返回到
步骤S413。另一方面,在步骤S421中,在特征变更单元922判断已经存在
指令特征的改变的、从操作单元1002输入的操作信号的情况下,处理流程转
到步骤S422。
在步骤S422中,特征变更单元922显示变更内容的指令屏幕(图86)。
在步骤S423中,特征变更单元922判断是否已经指定了用作基的特征,
并且重复该处理,直到已经输入用作基的特征为止。在做出已经输入用作基
的特征的判断的情况下,处理流程转到步骤S424。
在步骤S424中,特征变更单元922判断是否已经指令变更处理内容,并
且重复该处理,直到指令变更处理内容为止。例如,在做出已经输入变更处
理内容的判断的情况下,处理流程转到步骤S425。
在步骤S425中,特征变更单元922利用指定的变更处理内容变更用作基
的指定特征,将其存储在特征数据库823中,然后处理流程返回到步骤S413。
另一方面,在步骤S420中根据用户的主观做出telop得到提取的判断的
情况下,通过用户操作操作单元1102把指示处理完成的操作信号输入特征检
测单元421,并且处理到此为止。
也就是说,由于如上所述的处理,重复步骤S411到S425中的处理,直
到用户从观看显示在显示单元403上的那个图像可以判断telop得到提取为
止,从而,使最适合用户的特征的组合得到设置和使telop从作为输入信号的
图像信号中提取出来,并且增加可以由用户选择的特征的类型使大量特征的
组合得到设置,从而执行最适合用户的处理。此外,显示变更已存在特征和
生成新特征所需的变更指令屏幕,因此,用户可以根据显示有效地执行变更
处理。此外,与此同时,在一边观看与像素的特征有关的telop和背景之间的
分离状态一边改变特征的同时,可以重复地执行telop提取处理,从而,可以
容易地选择能够高精度telop提取的特征。
接着,参照图89,描述取代如图55所示的优化设备401的特征检测单
元411、处理判定单元412和操作单元402,配有特征检测单元1111、处理判
定单元1112和操作单元1102的优化设备1101的配置。在图89中,除了新
配备特征检测单元1111、处理判定单元1112和操作单元1102之外,其配置
与如图55所示的优化设备401的配置相同。
在图56中的特征检测单元411的配置中,特征检测单元111未配特征选
择单元423,而是由特征提取单元422提取事先已经设置的两种类型的特征,
但是,其余部分具有相同配置。
处理判定单元1112存储借此更新存储在处理内容数据库433中的LUT
的历史信息,并且更新与历史信息相对应的LUT。后面将参照图90描述处理
判定单元1112的配置。
此外,操作单元1102与操作单元402相同。
现在,参照图90描述处理判定单元1112的配置。除了配有处理内容判
定单元1121取代如图57所示的处理判定单元412的处理内容判定单元432,
和附加了历史存储器1122之外,图90中的处理判定单元1112具有与处理判
定单元412相同的配置。
处理内容判定单元1121把改变存储在处理内容数据库433中的LUT的
操作的历史信息存储在历史存储器1122中,并且根据历史信息改变LUT。其
它功能也与如图57所示的处理判定单元412的处理内容判定单元432的那些
功能相同。
接着,参照如图91所示的流程图描述如图89所示的优化设备1101执行
的telop提取优化处理。
在步骤S431中,特征检测单元1111的特征提取单元411从作为输入信
号的图像信号中提取两种预定类型的特征,并且将这些特征输出到处理判定
单元1112。此时,缓冲器421存储作为输入信号的图像信号。
在步骤S432中,处理判定单元1112的处理内容判定单元1121根据从特
征识别单元431输入的特征的类型和特征,参照存储在处理内容数据库433
中的LUT,判定每个像素的处理内容,并且将这些处理内容输出到处理单元
413。
在步骤S433中,处理单元413按照从处理判定单元1112输入的处理内
容处理像素,将它们输出到显示单元403并且显示。
在步骤S434中,处理判定单元1112的处理内容判定单元1121对改变
LUT的操作信号是否已经从操作单元1102输入做出判断。也就是说,用户观
看显示在显示单元403上的图像和主观地判断是否进行基于用户偏爱的处
理,用户根据判断结果操作操作单元1102,以便输入相应的操作信号。例如,
在没有进行与用户偏爱相匹配的处理的情况下(在显示单元403上没有显示
基于用户偏爱的屏幕的情况下),为了改变处理判定单元1121的处理内容数
据库433中的LUT,输入改变LUT的请求。
在步骤S434中,在已经输入请求改变LUT的操作信号,即没有进行基
于用户偏爱的处理的情况下,处理流程转到步骤S435。
在步骤S435中,对LUT的改变处理是否可以通过自动LUT改变处理来
执行做出判断。这里,存在手动LUT改变处理和自动改变处理供改变LUT
的处理之用。以后将描述有关是否能够进行自动LUT改变处理的判断的细节。
例如,在步骤S435中做出不可进行自动LUT改变处理的判断的情况下,
处理流程转到执行手动LUT改变处理的步骤S436。
现在,与LUT改变处理的描述一起,描述LUT的细节。LUT是如图92
所示指示为两种特征的组合的每一种判定的处理内容的表格。在图92中,显
示了作为两种类型特征的特征A和B的情况,并且在本例中,显示了将特征
分类成8个级(总共64个类)的例子。此外,在图92中,特征被归一化成
0到1.0之间的值,并且被划分成对于特征A的值Va的范围:从左开始,
0≤Va<1/8、1/8≤Va<2/8、2/8≤Va<3/8、3/8≤Va<4/8、4/8≤Va<5/8、5/8≤Va<6/8、
6/8≤Va<7/8、7/8≤Va≤8/8,和对于特征B的值Vb的范围:从上开始,0≤Vb<1/8、
1/8≤Vb<2/8、2/8≤Vb<3/8、3/8≤Vb<4/8、4/8≤Vb<5/8、5/8≤Vb<6/8、6/8≤Vb<7/8、
7/8≤Vb≤8/8。在该图中,根据各个范围的特征的组合,将处理内容分类成X、
Y和Z的三个类型,并且在如图92所示的情况下,在0≤Va≤3/8和0≤Vb≤3/8
的范围内,处理内容是X,在4/8≤Va<6/8或4/8≤Vb<6/8的范围内,处理内容
是Y,和在其它范围内,处理内容是Z。此外,可以为处理内容做出各种规
定。例如,如图93到图95所示,可以对感兴趣像素指定用在处理单元413
中的处理的预测抽头。
也就是说,对于图93,显示了处理内容X,以及把感兴趣像素设为P0,
其中,在空间上沿着x方向以感兴趣像素P0为中心设置过滤抽头P1和P2,
和以相同的方式,沿着y方向以感兴趣像素P0为中心设置过滤抽头P3和P4,
并且在时间方面以感兴趣像素P0为中心前后设置过滤抽头P5和P6(例如,
处在相同像素位置上的前一帧中的抽头P6和后一帧中的P5)。也就是说,处
理内容X处在所谓的时空过滤处理上。
此外,在图94中,显示了处理内容Y,其中,这里设置在时间方面的方
向定时比P6更早的抽头P12和定时比P5更晚的抽头P11,取代图93中处在
时空过滤中的抽头P3和P4,也就是说,处理内容Y是所谓的时间过滤处理。
并且,在图95中,显示了处理内容Z,其中,设置沿着x方向距感兴趣
像素比抽头P1还要远的抽头P21和距感兴趣像素比抽头P2还要远的抽头
P22,取代图93中处在时空过滤中的抽头P5和P6。也就是说,处理内容Z
是所谓的空间过滤处理。
请注意,对于其中的类型,与如图92所示的例子一样,处理内容不局限
于三种类型,并且理所当然,可以划分成不同于这数量的类型,例如可以做
出这样的安排,使所有像素经受将它们划分成白色或黑色的二进制化处理。
此外,正如在上例中所述的那样,这种二进制化处理可以是例如指定是否将
一个像素提取成telop部分的二进制化处理。相反,对于处理内容的类型,可
以存在三种类型或更多种类型。
接着,参照图96中的流程图,描述图91中步骤S436中的手动LUT改
变处理。
在步骤S441中,处理内容判定单元1121判断是否像来自操作单元1102
的操作信号那样,在处理内容中指定了像素位置,并且重复该处理,直到像
来自操作单元1102的操作信号那样,指定了像素位置和指定了处理内容为
止。也就是说,例如,在显示单元403上显示如图97所示的屏幕的情况下,
用户可以在显示在显示单元403上的图像上操作指针1131,在用户所需的像
素位置上执行预定处理,加入处理中的变化,显示例如如图97所示的下拉列
表1132,和进一步指定显示在下拉列表1132中的处理内容X、Y和Z之一。
在步骤S441中,一旦做出指定,就做出像素位置得到指定和处理内容得到指
定的判断,然后处理流程转到步骤S442。在这种情况下,如图97所示,选
择像素位置P41,并且选择处理内容X。
在步骤S442中,处理内容判定单元1121从指定的像素位置中读出相应
的两种类型特征的组合。更详细地说,在特征检测单元1111检测的特征当中,
处理内容判定单元1121读出与指定像素相对应的两种类型特征的组合。
在步骤S443中,处理内容判定单元1121把与相应特征组合相匹配的处
理内容更新成在步骤S441中指定的处理内容。
在步骤S444中,处理内容判定单元1121把改变后的像素位置和处理内
容存储在历史存储器1122中。
在步骤S445中,处理内容判定单元1121判断是否还存在对LUT的其它
改变,并且在做出还要改变对LUT的处理的判断的情况下,即在从操作单元
1102输入指令对LUT作其它改变的操作信号的情况下,处理流程返回到步骤
S441,和在做出再也没有继续改变LUT的处理的判断的情况下,即在从操作
单元1102输入指示LUT改变结束的操作信号的情况下,处理即告结束。
对于上面的手动LUT改变处理,LUT的改变按如下进行。也就是说,在
步骤S442中,在例如对于处在获取的像素位置P41上的像素的特征,(Va,
Vb)=(0.52,0.27)的情况下,对于图98中的LUT上的位置(从左算起的
位置,从上算起的位置)=(5,3)(下文也以相同的方式指示LUT上的位
置),在图98中设置处理内容Y。在如图97所示在步骤S443中把处理内容
改变成X的情况下,如图99所示,在步骤S443中在LUT上的位置(5,3)
上的处理从处理内容Y改变成处理内容X。
在如图96所示的手动LUT改变处理结束之后,处理流程返回到图91中
的流程图中步骤S432中的处理,重复随后的处理。在这种情况下,在像如上
所述那样改变LUT的情况下,执行与处理内容Y相对应的处理,直到如图
99所示,LUT中两种类型特征的组合是(5,3)的像素。因此,在如图97
所示的图像中,与具有与像素位置P41相同的特征的像素,即LUT上属于(5,
3)的像素相对应地改变处理,并且显示例如如图100所示、对那个部分进行
与在图97的情况中的处理不同的处理的图像。请注意,在图100中,显示了
具有与图97中像素位置P41上的像素相同的特征的像素是白色的例子。
虽然已经对通过教师的组合仅仅为所选像素指定的LUT(对LUT的处理
内容)发生改变的例子作了描述,但是,对于参照图96中的流程图所述的处
理例子,对LUT的改变不局限于这一种。也就是说,例如,可以做出这样的
安排,即例如在LUT上已经指定了对LUT的改变的部分的所有邻近部分都
是改变的处理内容。也就是说,例如,如图101所示,在对于LUT的初始状
态(LUT的初始状态是所谓的默认设置,并且可以是所有处理内容都不是Z
的状态)、所有处理内容被设置成Z的情况下,可以做出这样的安排,即在如
图102A所示,在LUT上位置(4,2)的处理内容被改变成X和在位置(5,
2)上的处理内容被改变成Y的情况下,由于图96中的流程图的处理,如图
102B所示,在LUT上与改变位置相近的区域可以被改变成X或Y。也就是
说,在图102B的情况中,对于LUT上的所有位置,比较它们相对于LUT上
的位置(4,2)的距离和相对于LUT上的位置(5,2)的距离,将它们均改
变成相近位置的处理内容。因此,在图102B中,使左半区域成为处理内容X,
而使右半区域成为处理内容Y。
这样,如图103A所示,在LUT上的位置(4,2)和(7,7)上的特征
的组合的处理内容被改变成X和LUT上的位置(5,2)和(4,5)上的特征
的组合的处理内容被改变成Y的情况下,如图103B所示,LUT上的(1,1)、
(2,1)、(3,1)、(4,1)、(1,2)、(2,2)、(3,2)、(4,2)、(1,3)、(2,
3)、(3,3)、(4,3)、(5,7)、(5,8)、(6,6)、(6,7)、(6,8)、(7,5)、
(7,6)、(7,7)、(7,8)、(8,4)、(8,5)、(8,6)、(8,7)和(8,8)
上的处理内容被改变成X,和在LUT上的所有其它位置上,处理内容是Y。
并且同样,如图104A所示,在LUT上的位置(4,2)和(7,7)上的
特征的组合的处理内容被改变成X和LUT上的位置(2,3)、(5,2)、(4,5)
和(7,4)上的特征的组合的处理内容被改变成Y的情况下,如图104B所
示,LUT上的(3,1)、(3,2)、(4,1)、(4,2)、(4,3)、(5,7)、(5,8)、
(6,6)、(6,7)、(6,8)、(7,6)、(7,7)、(7,8)、(8,6)、(8,7)和
(8,8)上的处理内容被改变成X,而在LUT上的所有其它位置上,处理内
容是Y。
如此改变LUT使得能在单次处理中,利用特征的相对近似组合成批改变
多个特征的组合的处理内容。
现在,让我们回到图91中的流程图的描述。
在步骤S435中,在做出可以进行自动LUT改变处理的判断的情况下,
流程转到步骤S437,执行自动LUT改变处理。
现在,参照图105中的流程图描述自动LUT改变处理。在步骤S461中,
处理内容判定单元1121获取存储在历史存储器1122中的更新历史的分布中
为每个处理内容而存在的一个组。也就是说,如图106所示,历史存储器1122
存储与LUT不同的历史表,记录例如与通过上述手动LUT改变处理已经指
定的改变有关的LUT上的位置和指定的处理内容。如图106所示的历史表表
示已经对LUT上的(3,3)、(8,3)、(2,5)和(6,6)的处理内容分别指
令改变,指令处理内容X、X、X和Y。
现在,每个处理内容的一个组意味着在预定区域或更大区域上具有预定
密度或更大密度地存在历史表上的处理内容的区域。
例如,在存在一个组的情况下,如图107所示,在表上形成一个组1151,
处理内容判定单元1121驯服(*tame)该组1151。请注意,在图107中,组
1151是一组处理内容X,并且也为其它处理内容的每一个获得这些组。
此外,除非手动LUT处理已经执行了一定次数,不存在一个组,把更新
历史存储在历史存储器1122中,并且还对LUT上有些聚合在一起的位置上
的相同处理内容执行改变处理。现在,在图91中的步骤S435中,通过是否
存在处理内容的组,对是否可进行自动LUT改变处理做出判断。也就是说,
在对于每个其它处理内容存在一个组的情况下,做出可进行自动LUT改变处
理的判断,并且如果不存在这些组,做出不可进行自动LUT改变处理的判断。
在步骤S462中,处理内容判定单元1121检测在步骤S461中获得的组的
重心位置。
也就是说,例如,在图107中的情况下,形成组1151,并且从指定处理
内容X的历史表上的所有位置中获得其重心位置。在图107中的情况下,从
组1161内指定处理内容X的历史表上的所有位置中获得重心1161。
在步骤S463中,与历史表上存在于距该组的重心位置预定范围内的位置
上的处理的内容相对应,处理内容判定单元1121将LUT上与各个像素的特
征的组合相对应的格子的处理内容转换成历史表上与构成组的像素的特征的
组合相对应的格子的处理内容,然后处理即告结束。也就是说,在图107中,
LUT上与历史表的位置相对应的处理内容存在于范围1162内,并且被改变成
构成组的处理内容X,其中,范围1162是中心在重心位置1161上、具有预
定半径的圆的范围。
也就是说,例如,如图107所示,在LUT被配置成像图108所示的那样
的状态生成历史表的情况下,在距重心1161预定距离内的范围1162内历史
表上的(2,3)和(3,4)存储与如图107所示的、构成组的处理内容X不
同的处理内容Y的历史信息,因此,LUT上与历史表上的(2,3)和(3,4)
相对应的(2,3)和(3,4)的处理内容被改变成X。于是,在LUT被配置
成如图108所示那样的情况下,LUT上(2,3)的处理内容是Y,因此,如
图109所示,处理内容判定单元1121把LUT上(2,3)的处理内容改变成
X。此外,在图108中的情况下,LUT上(3,4)的处理内容是X,因此,
处理内容判定单元1121保持这个状态。
由于这种处理,LUT上的处理内容(格子信息)自动改变。请注意,这
种处理不局限于在用户指令LUT的改变处理的时候执行,而是可以每隔预定
时间间隔重复执行。
现在,让我们回到图91中的流程图的描述。
在步骤S434中做出没有指令改变LUT的判断的情况下,即在用户自己
利用显示单元403的图像显示,判断生成适于用户偏爱的图像的情况下,处
理即告结束。
通过上面的处理按照用户操作重复改变LUT,改变了登记在LUT上每个
格子中的处理内容,从而能够生成适合用户偏爱的图像。
在上文中,LUT上的处理内容随用户的操作而改变,因此,可以认为,“处
理的内容”发生了改变。此外,使改变成为如下的一种:根据组的重心位置改
变那个LUT的处理内容的处理系统;或按照LUT上的指定位置上的处理内
容,像图101到图104那样改变LUT上的另一个位置上的有关LUT的处理
内容的处理系统;取决于是否根据用户进行的处理,为每个处理内容获得一
个组。也就是说,改变用于LUT的改变算法,因此,也可以认为“处理的内
容”的“处理的结构”随用户的操作而改变。
接着,参照图110,描述取代如图89所示的那种优化设备1101的处理判
定单元1112而配备了处理判定单元1181和新配备了内部信息生成单元1182
的优化设备1101的另一个配置例。在图110中,除了处理判定单元1181和
新配备的内部信息生成单元1182之外,其配置与如图89所示的优化设备1101
的配置相同。
处理判定单元1181存储更新存储在处理内容数据库1191(图111)中的
LUT的历史信息,并且与历史信息相对应地改变LUT,同时把存储在处理内
容数据库1191中的LUT供应给内部信息生成单元1182。
内部信息生成单元1182读出存储在处理内容数据库1191中的LUT,将
其转换成可以显示在显示单元403上的信息,将其输出到显示单元403,并
且显示它们。
接着,参照图111描述处理判定单元1181的配置。除了配备了处理内容
数据库1191取代如图90所示的处理内容数据库433之外,图111中的处理
判定单元1181具有与处理判定单元1112相同的配置。
处理内容数据库1191存储LUT,并且在必要的时候,还将LUT的信息
供应给内部信息生成单元1182。其它功能与如图90所示的处理内容数据库
433的那些功能相同。
接着,参照如图112所示的流程图,描述如图110所示的优化设备1101
进行的telop提取优化处理。现在,图112中的telop提取优化处理基本上与
参照图91中的流程图所述的处理相同,其中,图112中步骤S471到S473和
S475到S478中的处理是与图91中步骤S431到S437相对应的处理。在步骤
S473中的处理之后,在步骤S474中,内部信息生成单元1182读出处理判定
单元1181的处理内容数据库1191的LUT,将其转换成可以显示在显示单元
403上的图像信号,将其输出到显示单元403,显示(呈现)它,然后转到步
骤S475,重复随后的处理。
由于这样的处理,使LUT得到显示(呈现),从而在从显示在显示单元
403上的图像中识别对作为输入信号的图像信号进行的处理和LUT的改变的
时候可以改变LUT。
到目前为止,已经描述了在手动LUT改变处理中,通过指定显示在显示
单元403上的、利用登记在LUT中的处理内容而处理的图像上的像素和它们
的处理内容来改变LUT的例子,但是,也可以做出这样的安排,即内部信息
生成单元1182读出存储在处理内容数据库1191中的LUT,并且例如在操作
单元1102可直接操作的状态,在显示单元403上显示LUT上的处理内容,
以便可以直接改变LUT上的处理内容。
现在,参照图113中的流程图,描述图110中的优化设备1101直接改变
上述LUT的值的手动LUT改变处理。
在步骤S481中,处理内容判定单元1121判定是否已经在LUT上指定了
位置,并且重复该处理,直到指定为止。例如,如图114所示,在指定了作
为处理内容被设置成Y的位置的、显示在显示单元403上的LUT上的位置(5,
3)的情况下,做出在LUT上已经指定了位置的判断,然后处理流程转到步
骤S482。
在步骤S482中,内部信息生成单元1182在显示单元403上显示,表示
已经指定的LUT上的位置。也就是说,在图114中的情况下,在指定的(5,
3)上显示位置得到显示的帧1192。
在步骤S483中,处理内容判定单元1121判定是否已经指定了处理内容,
并且重复该处理,直到指定了处理内容为止。例如,如图114所示,通过在
操作指针1191的位置显示下拉列表1193来指定(例如,通过右击用作操作
单元1102的鼠标),和通过用户操作操作单元1102选择处理内容X、Y和Z
之一,做出已经指定处理内容的判断,然后处理流程转到步骤S484。
在步骤S484中,处理内容判定单元1121把处理内容改变成指定的处理
内容,并且结束处理。也就是说,在图114的情况下,选择了显示在下拉列
表1193中的“X”,因此,如图115所示,LUT上的(5,3)的处理内容从Y
改变成X。
由于上面的处理,可以直接改变在LUT上设置的处理内容,并且在观看
通过登记在LUT上的处理内容处理的图像的同时,可以操作LUT,从而,可
以容易地设置适合用户偏爱的处理内容。
对于图110中的优化设备1101,在手动LUT改变处理中改变通过用户操
作指定的LUT上的格子上的处理内容,因此,可以认为,“处理的内容”通过
用户的操作得到改变。此外,一旦存储在历史存储器1122中的改变历史积累
到一定程度,和检测到一个组,就把改变LUT的算法从手动LUT改变处理
改变成自动LUT改变处理,因此,“处理的结构”也发生改变。
并且,显示的LUT是与处理判定单元1112的处理有关的内部信息,同
时,可以一边观看显示的LUT,一边改变LUT的处理内容,因此,用户可以
识别LUT上的内容和显示在显示单元403上的图像之间的关联关系。
接着,参照图116描述作为另一个实施例,取代如图55所示的优化设备
401的特征检测单元411和处理单元413,配备了特征检测单元1111和处理
单元413的优化设备1201的配置。
特征检测单元1111与图89中的优化设备1101的配置中的那个相同。
处理单元1211利用例如根据从处理判定单元413输入的处理内容的信
息,通过学习获得的系数组,使从缓冲器421读出的输入信号经受映射处理,
将其输出到显示单元403,并且显示它。处理判定单元413根据来自操作单
元1202的操作信号,改变学习系数组的方法。现在,操作单元1202与操作
单元402相同。
接着,参照图117描述处理单元1211的配置。
学习设备1221基于从特征检测单元1111的缓冲器421读出的作为输入
信号的图像信号,通过最小N次方误差法、学习映射处理单元1222针对每
个处理内容的映射处理所需的系数组,并且将其存储在系数存储器1237中。
此外,学习设备1221根据从操作单元1202输入的操作信号,通过改变最小
N次方误差法中的指数N的值,学习系数组。
映射处理单元1222根据从处理判定单元412输入的处理内容,从学习设
备1221的系数存储器1237读出相应系数组,对从特征检测单元1111的缓冲
器421读出的作为输入信号的图像信号进行映射处理,将其输出到显示单元
403,并且显示它们。
接着,参照图118描述学习设备1221的详细配置。教师数据生成单元
1231与如图30所示的教师数据生成单元231相同,它从作为学习数据的输
入信号中生成教师数据,并且将其输出到最小N次方误差系数计算单元1236。
学生数据生成单元1232与如图30所示的学生数据生成单元232相同,它从
用作学习数据的输入信号中生成学生数据,并且将其输出到特征提取单元
1233和预测抽头提取单元1235。
特征提取单元1233与特征检测单元1111的特征提取单元422相同,它
从学生数据中提取特征,并且将其输出到处理判定单元1234。处理判定单元
1234与处理判定单元412相同,它根据从特征提取单元1233输入的特征,
判断处理内容,并且将其输出到最小N次方误差系数计算单元1236。预测抽
头提取单元1235与预测抽头提取单元233相同,它利用依次作为感兴趣像素
的教师数据,从学生数据中提取用作与感兴趣像素有关的预测抽头的像素,
并且将其输出到最小N次方误差系数计算单元1236。
就基本配置和处理内容而言,最小N次方误差系数计算单元1236与如
图30所示的最小N次方误差系数计算单元234相同,它根据从操作单元1202
输入的、指定最小N次方误差系数计算处理所需的指数N的信息,通过最小
N次方误差法从教师数据和从预测抽头提取单元1235输入的预测抽头中计算
系数组,并且将其输出到将其覆盖的系数存储器1237。但是,最小N次方误
差系数计算单元1236与如图30所示的最小N次方误差系数计算单元234的
不同之处在于,为从处理判定单元1234输入的每个处理内容生成系数组。系
数存储器1237为每个处理内容存储对于每个处理内容、从最小N次方误差
系数计算单元1236输出的系数组。图118显示了为每个处理内容存储的系数
组A到N。
接着,参照图119描述映射处理单元1222的配置。抽头提取单元251与
图31中的映射处理单元222相同,它从缓冲器421供应的输入信号中提取与
感兴趣像素有关的预测抽头,并且将其输出到乘积之和计算单元1251。乘积
之和计算单元1251与如图31所示的乘积之和计算单元252相同,它根据来
自预测抽头提取单元251的输入,利用提取的预测抽头(像素)的值和存储
在学习单元1221的系数存储器1237中的系数组,进行乘积之和计算处理,
生成感兴趣像素,对所有像素进行这种处理,并且将它们作为输出信号输出
到显示单元403并且显示。但是,请注意,在乘积之和计算处理中,乘积之
和计算单元1251使用存储在系数存储器1237中的系数组A到N当中、与处
理判定单元412供应的处理内容相对应的系数组。
接着,参照图120中的流程图,描述如图116所示的优化设备1201进行
的图像优化处理的学习处理。
在步骤S501中,对用户是否已经操作了操作单元202做出判断,并且在
做出还没有操作这个操作单元202的判断的情况下,流程返回到步骤S501。
此外,在步骤S501中做出已经操作了操作单元1202的情况下,流程转到步
骤S502。
在步骤S502中,学习设备1221的教师数据生成单元1231从输入信号中
生成教师数据,并且将其输出到最小N次方误差系数计算单元1236,而学生
数据生成单元1232从输入信号中生成学生数据,并且将其输出到特征提取单
元1233和预测抽头提取单元1235,然后流程转到步骤S503。
现在,关于用于生成学生数据和教师数据的数据(下文可以称之为学习
数据),可以应用例如从当前点算起往回预定时间量那一点输入的输入信号。
此外,对于学习数据,可以事先存储专用数据,而不是使用输入信号。
在步骤S503中,特征提取单元1233在与感兴趣像素(教师数据)相对
应的位置上从学生数据中提取特征,并且将其输出到处理判定单元1234。
在步骤S504中,处理判定单元1234根据从特征提取单元1233输入的特
征,为感兴趣像素判定处理内容,并且将其输出到最小N次方误差系数计算
单元1236。例如,处理判定单元1234可以对来自特征提取单元1233的一个
或多个特征进行矢量量化,并且把其量化结果用作处理内容的信息。但是,
在这种情况下,与图89中的处理判定单元1112那样,没有存储的LUT等。
在步骤S505中,预测抽头提取单元1235把每段教师数据取作感兴趣像
素,从学生数据生成单元1232输入的学生数据中生成与每个感兴趣像素有关
的预测抽头,并且将其输出到最小N次方误差系数计算单元1234,然后流程
转到步骤S506。
在步骤S506中,最小N次方误差系数计算单元1236判断是否从操作单
元202已经输入了指定借助于递归方法(第2种方法)、通过最小N次方误
差对系数组的计算的操作信号,并且在做出例如用户已经操作了操作单元
202,没有指定递归方法,即直接方法(第1种方法)的判断的情况下,流程
转到步骤S507,对是否已经输入指定表达式(50)中的权重αs(指定指数N)
的系数a、b和c做出判断,重复该处理,直到输入它们为止,并且在做出例
如用户已经操作了操作单元1202和已经输入指定系数a、b和c的值的判断
的情况下,流程转到步骤S507。
在步骤S507中,最小N次方误差系数计算单元1236在输入权重αs的系
数a、b和c的状态下,主要通过最小平方误差法,求解使上述表达式(48)
达到最小的问题,从而获得预测系数w1,w2,w3,...,wM,即对于从处理判
定单元1234输入的每个处理内容,通过最小N次方误差法对与权重αs相对
应的指数N求解的系数组,将其存储在系数存储器1237中,然后流程返回
到步骤S501。
另一方面,在步骤S506中做出选择了递归方法的判断的情况下,处理流
程转到步骤S509。
在步骤S509中,最小N次方误差系数计算单元1236判断是否已经输入
指定指数N的信息,重复该处理,直到输入指数N为止,并且在对例如用户
通过操作操作单元1202已经输入指定指数N的信息做出判断的情况下,处
理流程转到步骤S510。
在步骤S510中,最小N次方误差系数计算单元1236获取作为基的、通
过最小N次方误差法求解的系数组。在步骤S511中,最小平方误差系数计
算单元1236对于从处理判定单元1234输入的每个处理内容,利用从通过最
小平方误差获得的系数组中获得的预测值,像参照表达式(51)到表达式(54)
所述的那样对于指数N以递归方式,通过与来自操作单元1202的输入相对
应的最小N次方误差法获得系数组,将其存储在系数存储器1237中,然后
流程返回到步骤S501。
由于上面的处理,对于每个处理内容,在系数存储器1237中学习系数组。
接着,参照图121中的流程图,描述利用如图116所示的优化设备1201
进行的图像优化处理中的映射处理。
在步骤S521中,特征检测单元1111从作为输入信号的图像信号中检测
输入信号在与感兴趣像素(输出信号)相对应的位置上的像素的特征,并且
把检测的特征输出到处理判定单元412。
在步骤S522中,处理判定单元412根据从特征检测单元1111输入的特
征,判定处理内容,并且将其输出到处理单元1211。处理判定单元412的处
理通过进行与图118的处理判定单元1234相同的处理判定处理内容。因此,
如上所述,在处理判定单元1234对来自特征提取单元1233的一个或多个特
征进行矢量量化和把其量化结果取作如上所述的、与处理内容有关的信息的
情况下,与图89中的处理判定单元1112一样,没有存储在如图116所示的
处理单元412中的LUT等。
在步骤S523中,对于作为感兴趣帧、与用作当前输入信号的图像帧相对
应的用作输出信号的图像帧,处理单元1211的映射处理单元1222的抽头提
取单元251按例如光栅扫描次序,从那个感兴趣帧的像素中取出还没有成为
感兴趣像素的那些像素,作为感兴趣像素,从输入信号中提取与感兴趣像素
有关的预测抽头,并且将其输出到乘积之和计算单元1251。
在步骤S524中,映射处理单元1222的乘积之和计算单元1251从学习设
备1221的系数存储器1237中,读出与从处理判定单元412输入的处理内容
相对应的系数组。
然后在步骤S525中,乘积之和计算单元1251利用从学习设备1221的系
数存储器1237读出的、与处理内容相对应的预测系数,并且按照表达式(39),
利用从抽头提取单元251输入的预测抽头和从系数存储器1237读出的系数组
进行乘积之和计算处理。因此,乘积之和计算单元1251获取感兴趣像素的像
素值(预测值)。随后,流程转到步骤S526,在步骤S526中,抽头提取单元
251判断是否已经使感兴趣帧中的所有像素都成为感兴趣像素,并且在做出
相反判断的情况下,流程返回到步骤S521,以感兴趣帧的光栅扫描次序,把
还没有成为感兴趣像素的像素取作新的感兴趣像素,随后,重复相同的处理。
此外,在步骤S526中做出使感兴趣帧中的所有像素都已成为感兴趣像素
的判断的情况下,流程转到步骤S527,在步骤S527中,显示单元403显示
由通过乘积之和计算单元1251获得的像素组成的感兴趣帧。
然后流程返回到步骤S521,特征检测单元1111从作为输入信号的图像信
号中检测输入信号在与感兴趣像素(输出信号)相对应的位置上的像素的特
征,把下一个帧取作新感兴趣帧,随后,重复相同的处理。
请注意,对于图116中的优化设备1201,指数N通过用户操作操作单元
1202来改变(在直接方法中,改变指定指数N的系数a、b和c,而在递归方
法中,改变指数N本身),从而设置指数N的哪一种要用于最小N次方误差
法,作为预测系数(系数组)的学习标准(学习系统)。也就是说,改变获取
系数的学习算法。因此,可以认为,“处理的结构”发生改变,以便获得适合
用户偏爱的图像。
接着,参照图122,描述把内部信息生成单元1312配备到如图116所示
的优化设备1201的优化设备1301的配置。
除了通过配备内部信息生成单元1312,配备了处理单元1311来取代处
理单元1211之外,图122中的优化设3101与图116中的优化设备1201相同。
内部信息生成单元1312从例如处理单元1311中的系数存储器1321中读
出为每个处理内容存储的系数组信息,作为内部信息,将其转换成可以显示
在显示单元403上的信息,并且显示它。
接着,参照图123,描述处理单元1311的配置。基本配置是相同的,但
是配备了系数存储器1321来取代系数存储器1237,并且对于这种配置,在
其功能也相同的同时,使其与内部信息生成单元1312相连接,以便读出为每
个处理内容存储的系数组。
接着,参照图124中的流程图,描述利用图122中的优化设备1301进行
的图像优化处理。图122中的优化设备1301以与图116中的优化设备1201
相同的方式,也由学习处理和映射处理组成。对于学习处理,在步骤S541到
S551中进行与图120中的步骤S501到S511相同的处理。
并且,对于学习处理,在步骤S541和S551中的处理之后,流程转到步
骤S552,内部信息生成单元1312读取存储在系数存储器1321中的系数组,
作为内部信息,并且根据包含在系数组中的值,生成可以显示的图像信号,
将其输出到显示单元403,和显示它们。
此时,如上所述,由内部信息生成单元1312生成和显示在显示单元403
上的图像可具有如图39所示的三维分布或如图40所示的二维分布的形式。
现在,让我们回到图124中的流程图的描述。
在步骤S552中的处理之后,流程返回到步骤S541,随后,重复所述的
处理。
另一方面,对于如图125中的流程图所示的映射处理,在步骤S571到
S577中,分别进行与图121中的步骤S521到S527中的处理相同的处理。
由于上面的处理,存储在处理单元1311的系数存储器1321中的系数组
的值(系数值)被显示(呈现)成与处理有关的内部信息,因此,用户一边
观看系数组分布和作为输出信号的处理单元1311的处理结果,一边操作操作
单元1202,以便获得适合他/她自己的偏爱的作为输出信号的图像,从而,通
过改变指数N改变获取系数组的学习算法。因此,可以认为,使“处理的结构”
发生改变,以便获得适合用户偏爱的图像。此外,虽然在上例中显示了系数
组,但是,也可以做出这样的安排,即显示例如当前最小N次方误差法是直
接方法还是递归方法的、与处理有关的内部信息。
接着,参照图126,描述具有配备了处理单元1411取代图116中的优化
设备1201的处理单元1211的配置的优化设备1401。
处理单元1411的配置基本上与图41中优化设备301的处理单元311的
配置相同,它根据从操作单元1202输入的操作信号和从处理判定单元412输
入的处理内容,优化输入信号,并且在显示单元403上显示它们。
接着,参照图127,描述处理单元1411的配置。在系数存储器1421中
为每个处理内容存储数个系数组,以及存储映射处理单元1222进行映射处理
所需的系数组。该图表示存储了系数组A到N。这些系数组是利用图128中
的学习设备1441,通过学习事先生成的。
现在,参照图128描述生成这些系数组的学习设备1441的配置。
学习设备1441的教师数据生成单元1451、学生数据生成单元1452、特
征提取单元1453、处理判定单元1454和预测抽头提取单元1455分别对应于
如图118所示的学习设备1221的教师数据生成单元1231、学生数据生成单
元1232、特征提取单元1233、处理判定单元1234和预测抽头提取单元1235,
因此,省略对它们的描述。
正规方程生成单元1456与如图43所示的正规方程生成单元354相同,
它根据从教师数据生成单元351输入的教师数据和预测抽头,生成正规方程,
并且将其输出到系数判定单元1457,但是,不同之处在于,此时,为从处理
判定单元1454输入的每段处理内容信息生成和输出正规方程。
系数判定单元1457与图43中的系数判定单元355相同,它求解输入的
正规方程,以生成系数组,此时,它生成与每段处理内容信息相关联的系数
组。
接着,参照图129中的流程图,描述利用图128中的学习设备1441进行
的系数判定处理(学习处理)。在步骤S591中,教师数据生成单元1451从学
习数据中生成教师数据,并且将其输出到正规方程生成单元1456,而学生数
据生成单元1452从学习数据中生成学生数据,并且将其输出到特征提取单元
1453和预测抽头提取单元1455,然后流程转到步骤S592。
在步骤S592中,预测抽头提取单元1455从学生数据中提取与每个感兴
趣数据有关的预测抽头,把每段教师数据依次取作感兴趣像素,并且将其输
出到正规方程生成单元1456,然后流程转到步骤S593。
在步骤S593中,特征提取单元1453提取与处在与感兴趣像素(教师数
据)相对应的位置上的学生数据(像素)有关的特征,并且将其输出到处理
判定单元1454。
在步骤S594中,处理判定单元1454根据特征提取单元1453提取的特征,
为每个像素判定处理内容,并且把判定的处理内容信息输出到正规方程生成
单元1456。例如,处理判定单元1454可以让一个或多个特征经受矢量量化,
并且把量化结果取作处理内容的信息。因此,在处理判定单元1456中没有存
储的LUT。
在步骤S595中,正规方程生成单元1456利用教师数据和预测抽头组计
算这个在表达式(46)左侧的矩阵的分量之和(∑)和在其右侧的矢量的分量
之和(∑),从而为每段处理内容信息生成从处理判定单元1454输入的正规方
程,并且将其输出到系数判定单元1457。
然后流程转到步骤S596,在步骤S596中,系数判定单元1457为每段处
理内容信息求解从正规方程生成单元1456输入的正规方程,并且通过所谓的
最小平方误差法为每段处理内容信息获得在步骤S597中存储在系数存储器
1421中的系数组。
由于上面的处理,对于每段处理内容信息,基本系数组(用作初始值的
系数组)被存储在系数存储器1421中。现在,虽然上面的描述给出了通过最
小平方误差法获得的系数组,但是,这可以是通过其它方法获得的系数组,
和可以是通过如上所述的最小N次方误差法获得的系数组。
接着,参照图130中的流程图,描述如图126所示的优化设备1401的图
像优化处理。这个图像优化处理由系数改变处理和映射处理组成,但是,映
射处理与参照图121和图125所述的映射处理相同,因此,这里只描述系数
改变处理。
在步骤S611中,系数改变单元322的改变处理单元332判断操作系数值
的操作信号是否已经从操作单元1202输入。也就是说,在用户观看显示在显
示单元403上的图像,并且认为这适合他/她自己的偏爱的情况下,对存储在
系数存储器1421中的每段处理内容信息的系数组执行映射处理,但是,在这
不适合用户的偏爱的情况下,进行改变用于映射处理的、存储在系数存储器
1421中的系数组的操作。
例如,在步骤S611中,在做出已经输入用于操作系数的操作信号的判断
的情况下,即在已经操作了操作单元1202以便改变存储在系数存储器1421
中的系数的系数值之一的情况下,流程转到步骤S612。
在步骤S612中,改变处理单元332控制系数读/写单元331读出存储在
系数存储器321中的系数组,然后流程转到步骤S613。在步骤S613中,改
变处理单元332对与事先包含在系数组中的值相比较、作为操作信号输入的
系数值的改变是否大于或等于预定阈值S11做出判断。在例如在步骤S613中
做出相对于存储在系数存储器1421中的系数组值、作为操作信号输入的系数
值的改变大于等于预定阈值S11的情况下,处理流程转到步骤S614。
在步骤S614中,改变处理单元332利用如图50所示的弹簧模型,改变
包含在系数组中的系数的值,然后处理流程转到步骤S615。
另一方面,在步骤S613中做出作为操作信号输入的值与存储在系数存储
器1421中的系数组的值之间的变化不大于等于阈值S11的情况下,处理流程
转到步骤S615。
在步骤S615中,改变处理单元332利用如图51所示的平衡模型,改变
包含在系数组中的系数的值,然后处理流程转到步骤S616。
在步骤S616中,改变处理单元332控制系数读/写单元331通过覆盖把
改变的系数组值存储在系数存储器1421中,处理流程返回到步骤S611,重
复随后的处理。
然后在步骤S611中做出没有操作系数值的判断的情况下,即在用户判断
显示在显示单元403上的图像是适合用户偏爱的图像的情况下,处理流程返
回到步骤S611,随后,重复相同的处理。
由于上面的系数改变处理,用户可以改变用于映射处理的、为每段处理
内容信息存储的系数组,并且执行最适合用户的处理。现在,改变系数组中
的系数的值意味着利用映射处理单元311进行的映射处理的“处理的内容”发
生改变。
此外,对于图130中的系数改变处理,在系数的改变幅度大于等于预定
阈值S11的情况下,根据操作的系数的值,利用弹簧模型改变系数组中的所
有系数值,而在这个改变幅度小于阈值S11的情况下,利用平衡模型改变系
数组中的所有系数值,因此,改变系数组的系数组改变算法发生改变。于是,
对于图126中的优化设备1401的处理单元1411,也可以认为,“处理的内容”,
以及“处理的结构”也随用户的操作而改变,从而进行最适合用户的信号处理。
此外,在如上所述,通过最小N次方功率误差法获得存储在系数存储器
1421中的系数组的情况下,也可以做出这样的安排,即例如事先把与数个指
数N相对应的系数组存储在系数存储器1421中,和系数改变单元322在根
据用户所作的操作从操作单元1202输入操作信号之后,将其改变成与指定的
指数N相对应的系数组。在这种情况下,存储在系数存储器1421中的系数
组被改变成通过与根据用户的操作从操作单元1202输入的指数N相对应的
最小N次方误差法生成的那些系数组。也就是说,获取与指数N相对应的系
数组的学习算法发生改变,因此,可以认为,“处理的结构”发生改变。
接着,参照图131描述把内部信息生成单元1521配备在如图126所示的
优化设备1401上形成的优化设备1501的配置。对于图131中的优化设备
1501,除了配备内部信息生成单元1521,和配备处理单元1511取代处理单
元1411之外,其它配置与图126中的优化处理单元1521相同。
内部信息生成单元1521读出例如存储在处理单元1511的系数存储器
1531中的、为每段处理内容信息存储的系数组,作为内部信息,将其转换成
可以显示在显示单元403上的图像信号,将其输出到显示单元403,并且显
示它们。
接着,参照图132描述处理单元1521的配置。除了配备系数存储器1531
取代系数存储器1421之外,这基本上与图126中处理单元1411的配置相同。
系数存储器1531在功能上几乎与系数存储器1421相同,但是,不同之处在
于,它与内部信息生成单元1521连接,并且具有在适当的时候读出系数组的
配置。
接着,参照图133中的流程图,描述如图131所示的优化设备1501进行
的图像优化处理。与如图126所示的优化设备1401进行的图像优化处理相同,
这个图像优化处理由系数改变处理和映射处理组成,但是,映射处理与参照
图121和图125所述的映射处理相同,因此,这里只描述系数改变处理。
对于系数改变处理,在步骤S631到S636中分别进行与图130中的步骤
S611到S616中的处理相同的处理。
然后在步骤S636中,与图130中的步骤S616中一样,在将改变后系数
组存储在系数存储器1521中之后,流程转到步骤S637,在步骤S637中,内
部信息生成单元1521读出存储在系数存储器1531中的系数组的系数值,将
这些值转换成可以显示在显示单元403上的图像信号,输出到显示单元403
并且显示(呈现)它们。此时,如上所述,显示(呈现)在显示单元403上
的系数组的系数值可以具有例如如图39所示的三维分布或如图40所示的二
维分布的形式。
在步骤S637中的处理之后,流程返回到步骤S631,随后,重复相同的
处理。
根据图133中的系数改变处理,为每段处理内容信息存储在系数存储器
1531中的系数组的值被显示成内部信息,因此,用户可以一边观看这些系数
组,一边操作操作单元1202,从而获得执行最适合用户的处理的系数组。
此外,对于映射处理单元1222的乘积之和计算单元1251,取代表达式
(39)中的线性表达式,可以通过计算二阶或更高阶的高阶表达式获得输出
信号。
接着,上述的一系列处理可以通过硬件来实现,或可以通过软件来实现。
在一系列处理可以通过软件来实现的情况下,将构成软件的程序安装在通用
计算机等中。
现在,图134显示了安装执行上述一系列处理的程序的计算机的第1实
施例的配置例。
可以将程序事先存储在内置在计算机中用作记录媒体的硬盘2105或
ROM(只读存储器)2103中。
或者,可以将程序暂时或永久地存储(记录)在可去除记录媒体2111上,
譬如,软盘、CD-ROM(只读光盘存储器)、MO(磁光)盘、DVD(数字多
功能盘)、磁盘和半导体存储器等。这样的可去除记录媒体2111可以以所谓
的套装软件的形式提供。
此外,除了将程序从这样的可去除记录媒体2111安装到计算机中之外,
也可以通过经由用于数字卫星广播的卫星的无线装置或者通过经由诸如LAN
(局域网)或因特网之类的网络的电缆、将程序从下载网站传送到计算机,
计算机通过通信单元2108接收如此传送的程序,并且将程序安装在内置硬盘
2105中。
计算机含有内置CPU(中央处理单元)2102。输入/输出接口2110通过
总线2101与CPU 2102相连接,并且一旦通过用户操作由键盘、鼠标和麦克
风等组成的输入单元2107、经由输入/输出接口2110输入命令,CPU 2102据
此执行存储在ROM 2103中的程序。或者,CPU 2102向RAM(随机访问存
储器)2104装载和执行存储在硬盘2105中的程序、从卫星或网络传输、利
用通信单元2108接收和安装在硬盘2105中的程序、或者从安装到驱动器2109
的可去除记录媒体21111读出和被安装到硬盘2105的程序。因此,CPU 2102
执行按照上述流程图的处理或通过上述方块图的配置实现的处理。CPU 2102
例如在必要的时候,经由输入/输出接口2110从由LCD(液晶显示器)或扬
声器等组成的输出单元2106输出处理结果,或者从通信单元2108发送,并
且对硬盘2105进行记录等。
现在,在说明书中,描述使计算机执行各种类型的处理的处理步骤不必
需要按照流程图中所述的次序按时间序列执行,而且本发明包括并行执行或
独立处理(例如,并行处理或按对象处理)。
此外,程序可以由一台计算机来处理,或者,可以由多台计算机分担和
由它们来处理。并且,可以把程序传送到远程计算机来执行。
尽管上方已经对将本发明应用于从输入信号中消除噪声或自动驱动作了
描述,但是,本发明广泛应用于除了噪声消除或自动驱动之外的其它应用,
例如信号频率特征的转换等。
工业可应用性
如上所述,根据本发明,处理的内容,以及处理的结构随用户的操作而
改变,从而可以进行最适合那个用户的处理。
对于本实施例,内部信息如输出信号那样被显示在同一显示单元上,但
是,内部信息也可以被显示在与显示输出信号的显示单元分离的显示单元上。