影像撷取装置与影像前处理方法 【技术领域】
本发明是有关于影像撷取装置与影像前处理方法及装置,特别是关于一种YUV影像的前置处理方法及装置。
背景技术
在数字图像处理领域中,常见的一种编码方法为YUV编码。YUV编码技术所得的影像数据包括:亮度数据Y(Luminance、Luma)、以及色度数据U与V(Chrominance、Chroma)。U为偏蓝色度数据(另一常见标示为Cb)。V为偏红色度数据(另一常见标示为Cr)。YUV编码遵循下列公式,以含括红、绿与蓝三原色(RGB)的资料:
Y=0.299*R+0.587*G+0.114*B;
U=0.436*(B-Y)/(1-0.114);以及
V=0.615*(R-Y)/(1-0.299)。
由于人眼对色度(U与V)的敏感度不如亮度(Y),故对于色度(U与V)可采用较低抽样频率。常见的一种方法为4:2:2色度抽样。
图1以一画面100的影像数据说明4:2:2色度抽样。不同于亮度数据必须对每一个像素抽样,4:2:2色度抽样将色度数据(U与V)的抽样频率减半,令每两个像素共享一组色度数据(U与V)。参阅图1,第0行(row)第0列(column)的像素102仅有亮度数据Y00与偏蓝色度数据U00的抽样,而无偏红色度数据(V)的抽样;第0行第1列的像素104则仅有亮度数据Y01与偏红色度数据V01的抽样,而无偏蓝色度数据(U)的抽样。像素102与104共享色度数据U00与V01。
上述影像数据(YUV)可经过一影像压缩运算转换为数据串流(streaming)。影像压缩运算通常需要将一画面分割为多个子画面(sub-image),对各子画面进行运算。传统技术通常以缓冲储存器,如缓冲器(line buffer),收集子画面的影像数据,供影像压缩运算时使用。
此外,上述影像数据(YUV)于播放于屏幕前,亦须先暂存于缓冲器(linebuffer)方输出。
如何降低缓冲器(line buffer)的数量为本技术领域一项重要的课题。
【发明内容】
本发明揭露一种影像撷取装置以及所应用的影像前处理方法。
本发明的影像撷取装置包括一感测单元、一影像数据产生单元、一第一影像前处理单元、一缓冲器群组、一第二影像前处理单元、以及一影像压缩单元。上述感测单元以及影像数据产生单元负责感测影像并且产生影像数据,其中,影像数据包括亮度数据以及色度数据。亮度数据暂存至缓冲器群组。色度数据则经第一影像前处理单元转换为色度合并数据后暂存于缓冲器群组;其中,第一影像前处理单元所执行的动作为:合并相邻行的色度数据,借以降低色度数据的数据量。第二影像前处理单元位于缓冲器群组之后,用以取得上述色度合并数据、并且令相邻的行共享所对应的色度合并数据,以输出处理后色度数据。上述第二影像前处理单元与缓冲器群组所提供的处理后色度数据与亮度数据用于显示一影像于一屏幕。
本发明更可用于影像压缩运算等影像处理运算的前置处理。除了播放于一屏幕上,任何需要收集子画面的影像处理运算,如影像压缩运算,亦可使用此影像前处理方法。此方法包括:接收影像数据,其中包括亮度数据与色度数据;合并相邻行的色度数据以产生色度合并数据;以一缓冲器群组暂存上述亮度数据与上述色度合并数据;以及自上述缓冲器群组取得上述色度合并数据,并且令相邻的行共享所对应的色度合并数据,以得到处理后色度数据。上述处理后色度数据与上述缓冲器群组所暂存的亮度数据供影像播放、或后续影像处理运算使用。
【附图说明】
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明,其中:
图1以一画面100的影像数据说明4:2:2色度抽样;以及
图2为本发明影像撷取装置的一种实施方式。
主要组件符号说明:
100~一画面;
102~对应画面100第0行第0列的像素;
104~对应画面100第0行第1列的像素;
200~影像撷取装置;
202~感测组件; 204~影像数据产生组件;
206~第一影像前处理单元;
208~缓冲器群组;
210~第二影像前处理单元;
212~影像压缩单元; 214~储存媒体;
216~亮度数据; 218~色度数据;
220~色度合并数据; 222~处理后色度数据;
224~压缩的影像; 226~屏幕;
Y00-Y73~亮度数据;
U00-U72~偏蓝色度数据;以及
V01-V73~偏红色度数据。
【具体实施方式】
图2为本发明影像撷取装置的一种实施方式。影像撷取装置200可为网络摄影机(web-cam)、数字相机…等数字摄影装置,其中包括感测单元202、影像数据产生单元204、第一影像前处理单元206、缓冲器群组208、以及第二影像前处理单元210。
感测单元202可为感光装置,如CCD或CMOS传感器,用来感测影像。感测单元202所感测影像模拟信号由影像数据产生单元204放大并转换为数字的影像数据(包括数据216与218)。影像数据可为YUV编码,其中包括亮度数据216(Y)以及色度数据218(U与V)。如图所示,亮度数据216(Y)暂存于缓冲器群组208;而色度数据218则更经第一影像前处理单元206转换成色度合并数据220后,方暂存至缓冲器群组208。第一影像前处理单元206所执行的动作为:合并相邻行的色度数据。因而,色度合并数据220的数据量远低于色度数据218的资料量。
缓冲器群组208于储存满溢时,会将其内容输出,并且开始新的储存动作。第二影像前处理单元210位于缓冲器群组208与影像压缩单元212之间,用以接收色度合并数据220、并且令相邻的行共享色度合并数据,以得到处理后色度数据222。缓冲器群组208所提供的亮度数据216与处理后色度数据222用于拨放影像于屏幕226上。
此外,缓冲器群组208所提供的亮度数据216与处理后色度数据222亦可用来作影像压缩。如图2所示,影像压缩单元212耦接上述第二影像前处理单元210与缓冲器群组208,且对上述组件(210与208)所提供的处理后色度数据222与亮度数据216进行一影像压缩运算。压缩后的影像224可储存于一储存媒体214。
在某些实施方式中,影像数据(216与218)可为4:2:2色度抽样;色度数据218包括偏蓝色度数据(通常标示为U或Cb)与偏红色度数据(通常标示为V或Cr)。参阅图1所标示的画面100的Y、U与V抽样,第一影像前处理单元206可借下列运算(表达式1)合并相邻行的色度数据:
My,2x=(U2y,2x+U2y+1,2x)/2;以及
Ny,2x+1=(V2y,2x+1+V2y+1,2x+1)/2;(表达式1)
其中,y与x为变量;My,2x与Ny,2x+1组成图2的色度合并数据220;U2y,2x为一画面第2y行(row)、第2x列(column)像素的偏蓝色度数据;U2y+1,2x为该画面第2y+1行、第2x列像素的偏蓝色度数据;V2y,2x+1为该画面第2y行、第2x+1列像素的偏红色度数据;且V2y+1,2x+1为该画面第2y+1行、第2x+1列像素的偏红色度数据。
以第0与1行两个相邻行为例,位于第0行的色度数据U00与位于第1行的色度数据U10合并为色度合并数据M00,其中M00=(U00+U10)/2;位于第0行地色度数据V01与位于第1行的色度数据V11合并为色度合并数据N01,其中N01=(V01+V11)/2;位于第0行的色度数据U02与位于第1行的色度数据U12合并为色度合并数据M02,其中M02=(U02+U12)/2;位于第0行的色度数据V03与位于第1行的色度数据V13合并为色度合并数据N03,其中N03=(V03+V13)/2,以此类推。
缓冲器群组208的容量可依影像处理运算的一子画面的数据量设计。假设一子画面包括8x16像素,则以第0-7行、第0-15列的子画面为例,缓冲器群组208所储存的数据包括:
Y00、Y01、Y02、Y03、…、Y0,15
Y10、Y11、Y12、Y13、…、Y1,15
…
Y70、Y71、Y72、Y3、…、Y7,15
M00、N01、M02、N03、…、N0,15
M10、N11、M12、N13、…、N1,15
M20、N21、M22、N23、…、N2,15
M30、N31、M32、N33、…、N3,15
参见未采用第一与第二影像前处理单元206与210的传统技术,传统缓冲器群组所需储存的数据包括:
Y00、Y01、Y02、Y03、…、Y0,15
Y10、Y11、Y12、Y13、…、Y1,15
…
Y70、Y71、Y72、Y3、…、Y7,15
U00、V01、U02、V03、…、V0,15
U10、V11、U12、V13、…、V1,15
…
U70、V71、U72、V3、…、V7,15
本发明的缓冲器群组208可减少25%的容量,大幅节省电路的面积与成本。
在某些实施方式中,第二影像前处理单元210可借表达式2令相邻的行共享色度合并数据:
U’2y,2x=U’2y+1,2x=My,2x;以及
V’2y,2x+1=V’2y+1,2x+1=Ny,2x+1; (表达式1)
其中,U’2y,2x、U’2y+1,2x、V’2y,2x+1与V’2y+1,2x+1组成图2的处理后色度数据222。
以第0与1行两个相邻行为例,色度合并数据M00复制给第0与1行的第0列像素,作为处理后色度数据U’00与U’10使用,其中U’00=U’10=M00;色度合并数据N01复制给第0与1行的第1列像素,作为处理后色度数据V’01与V’11使用,其中V’01=V’11=N01;色度合并数据M02复制给第0与1行的第2列像素,作为处理后色度数据U’02与U’12使用,其中U’02=U’12=M02;色度合并数据N03复制给第0与1行的第3列像素,作为处理后色度数据V’03与V’13使用,其中V’03=V’13=N03;…。
借由表达式2,各像素的影像数据(关于亮度数据与色度数据)可被完整收集,借以进行播放或影像压缩运算。
本发明缩减色度数据数据量的方法更可用于其它影像处理运算的前置处理中,统称影像前处理方法。除了图2实施例所提及的影像压缩运算,任何需要先收集子画面的数据数据的影像处理运算,皆可使用此影像前处理方法。此方法包括:接收影像数据,其中包括亮度数据(如Y)与色度数据(如U与V),此影像数据可为4:2:2色度抽样;执行上述表达式1,合并相邻行的色度数据以产生色度合并数据(表达式1的M与N);以一缓冲器群组暂存上述亮度数据Y与上述色度合并数据(M与N);以及自上述缓冲器群组取得上述色度合并数据(M与N),并且执行上述表达式2令相邻的行共享色度合并数据(M与N)以得处理后色度数据(表达式2的U’与V’)。上述处理后色度数据(U’与V’)与上述缓冲器群组所暂存的亮度数据(Y)将供影像播放、或影像处理运算使用。透过第一影像前处理单元206合并相邻行的色度数据以产生色度合并数据可节省缓冲器群组的硬件空间,进而降低影像撷取系统的成本。