产生高动态范围图像的方法及其图像传感器.pdf

《产生高动态范围图像的方法及其图像传感器.pdf》由会员分享，可在线阅读，更多相关《产生高动态范围图像的方法及其图像传感器.pdf（14页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104253946 A (43)申请公布日 2014.12.31 CN 104253946 A (21)申请号 201310263878.X (22)申请日 2013.06.27 H04N 5/235(2006.01) H04N 5/335(2011.01) (71)申请人 聚晶半导体股份有限公司 地址 中国台湾新竹科学工业园区新竹市力 行路 12 号 3 楼 (72)发明人 林慧珊 赵善隆 曾家俊 (74)专利代理机构 北京同立钧成知识产权代理 有限公司 11205 代理人 臧建明 (54) 发明名称 产生高动态范围图像的方法及其图像传感器 (57) 摘要 本发明提。

2、供一种产生高动态范围图像的方法 及其图像传感器， 适于处理依据不同曝光时间连 续交错拍摄所得的原始图像。此方法包括 ： 取得 原始图像中的操作区块， 其包括多个有第一曝光 时间的第一像素与多个有第二曝光时间的第二像 素 ； 至少根据第一像素是否过曝光与第二像素来 产生对应于第二曝光时间的第二曝光区块 ： 至少 根据第二像素是否过曝光与第一像素来产生对应 于第一曝光时间的第一曝光区块 ； 以及至少根据 第一曝光区块与第二曝光区块来产生对应于原始 图像的高动态范围图像。 据此， 可以产生高品质的 高动态范围图像。 (51)Int.Cl. 权利要求书 3 页 说明书 7 页 附图 3 页 (19)中。

3、华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书7页 附图3页 (10)申请公布号 CN 104253946 A CN 104253946 A 1/3 页 2 1. 一种产生高动态范围图像的方法， 其特征在于， 适于处理依据一第一曝光时间与一 第二曝光时间连续交错拍摄所得的一原始图像， 包括 ： 取得该原始图像中的一操作区块， 其中该操作区块包括多个第一像素与多个第二像 素， 该些第一像素具有该第一曝光时间， 并且该些第二像素具有该第二曝光时间 ； 判断每一该些第一像素是否过曝光 ； 至少根据每一该些第一像素是否过曝光与该些第二像素来产生对应于该第二曝光时 间的一第二曝。

4、光区块， 其中该第二曝光区块的大小相同于该操作区块的大小 ； 判断每一该些第二像素是否过曝光 ； 至少根据每一该些第二像素是否过曝光与该些第一像素来产生对应于该第一曝光时 间的一第一曝光区块， 其中该第一曝光区块的大小相同于该操作区块的大小 ； 以及 至少根据该第一曝光区块与该第二曝光区块来产生对应于该原始图像的一高动态范 围图像。 2. 根据权利要求 1 所述的产生高动态范围图像的方法， 其特征在于， 该第一曝光时间 为长曝光， 该第二曝光时间为短曝光， 并且所述判断每一该些第一像素是否过曝光的步骤 包括 ： 判断每一该些第一像素的一颜色值是否大于一第一临界值以判断每一该些第一像素 是否过曝。

5、光， 其中判断每一该些第二像素是否过曝光的步骤包括 ： 将每一该些第二像素乘上一增益 ； 以及 判断每一该些第二像素乘上该增益的一乘积是否大于一第二临界值以判断出每一该 些第二像素是否过曝光， 其中该增益是根据该第一曝光时间与该第二曝光时间所计算出。 3. 根据权利要求 2 所述的产生高动态范围图像的方法， 其特征在于， 产生该第一曝光 区块的步骤包括 ： 对于每一过曝光的该些第二像素， 根据具有相同通道的该些第一像素内插出一第三像 素 ； 以及 根据该些第一像素、 未过曝光的该些第二像素乘上该增益的该乘积、 以及内插出的该 第三像素产生该第一曝光区块， 其中产生该第二曝光区块的步骤包括 ： 。

6、对于每一过曝光的该些第一像素， 根据具有相同通道的该些第二像素内插出一第四象 素 ； 以及 根据该些第二像素、 未过曝光的该些第一像素除以该增益的一商数、 以及内插出的该 第四像素产生该第二曝光区块。 4. 根据权利要求 1 所述的产生高动态范围图像的方法， 其特征在于， 该第一曝光区块 与该第二曝光区块中的一中心像素的位置是对应于该些第二像素的其中之一的位置， 该产 生高动态范围图像的方法还包括 ： 从该中心像素所对应的该第一曝光区块或该第二曝光区块中取得多个第五像素， 其中 该些第五像素与该中心像素具有相同的通道， 并且该第五像素的位置是对应于该些第一像 素的至少其中之一的位置 ； 以及 。

7、根据该些第五像素的一高频部分来调整该中心像素的一颜色值。 权 利 要 求 书 CN 104253946 A 2 2/3 页 3 5. 根据权利要求 4 所述的产生高动态范围图像的方法， 其特征在于， 至少根据该第一 曝光区块与该第二曝光区块来产生对应于该原始图像的一高动态范围图像的步骤包括 ： 至少根据取得该第一曝光区块的该中心像素与该第二曝光区块的该中心像素来产生 该高动态范围图像。 6. 一种高动态范围图像传感器， 其特征在于， 包括 ： 一图像传感器， 依据一第一曝光时间与一第二曝光时间连续交错拍摄， 以产生一原始 图像 ； 一存储单元， 耦接该图像传感器， 适于存储该原始图像 ； 以及。

8、 一图像处理器， 耦接该图像传感器与该存储单元， 用以取得该原始图像中的一操作区 块， 其中该操作区块包括多个第一像素与多个第二像素， 该些第一像素具有该第一曝光时 间， 并且该些第二像素具有该第二曝光时间， 其中， 该图像处理器用以判断每一该些第一像素是否过曝光， 并且至少根据每一该些 第一像素是否过曝光与该些第二像素来产生对应于该第二曝光时间的一第二曝光区块， 其 中该第二曝光区块的大小相同于该操作区块的大小， 其中， 该图像处理器用以判断每一该些第二像素是否过曝光， 并且至少根据每一该些 第二像素是否过曝光与该些第一像素来产生对应于该第一曝光时间的一第一曝光区块， 其 中该第一曝光区块的。

9、大小相同于该操作区块的大小， 其中， 该图像处理器至少根据该第一曝光区块与该第二曝光区块来产生对应于该原始 图像的一高动态范围图像。 7. 根据权利要求 6 所述的高动态范围图像传感器， 其特征在于， 该第一曝光时间为长 曝光， 该第二曝光时间为短曝光， 并且该图像处理器判断每一该些第一像素是否过曝光的 操作包括 ： 该图像处理器判断每一该些第一像素的一颜色值是否大于一第一临界值以判断每一 该些第一像素是否过曝光， 其中该图像处理器判断每一该些第二像素是否过曝光的步骤包括 ： 该图像处理器将每一该些第二像素乘上一增益 ； 以及 该图像处理器判断每一该些第二像素乘上该增益的一乘积是否大于一第二临。

10、界值以 判断出每一该些第二像素是否过曝光， 其中该增益是根据该第一曝光时间与该第二曝光时 间所计算出。 8. 根据权利要求 7 所述的高动态范围图像传感器， 其特征在于， 该图像处理器产生该 第一曝光区块的操作包括 ： 对于每一过曝光的该些第二像素， 该图像处理器根据具有相同通道的该些第一像素内 插出一第三像素 ； 以及 该图像处理器根据该些第一像素、 未过曝光的该些第二像素乘上该增益的该乘积、 以 及内插出的该第三像素产生该第一曝光区块， 其中该图像处理器产生该第二曝光区块的操作包括 ： 对于每一过曝光的该些第一像素， 该图像处理器根据具有相同通道的该些第二像素内 插出一第四象素 ； 以及 。

11、该图像处理器根据该些第二像素、 未过曝光的该些第一像素除以该增益的一商数、 以 权 利 要 求 书 CN 104253946 A 3 3/3 页 4 及内插出的该第四像素产生该第二曝光区块。 9. 根据权利要求 6 所述的高动态范围图像传感器， 其特征在于， 该第一曝光区块与该 第二曝光区块中的一中心像素的位置是对应于该些第二像素的其中之一的位置， 该图像处理器还用以从该中心像素所对应的该第一曝光区块或该第二曝光区块中取 得多个第五像素， 其中该些第五像素与该中心像素具有相同的通道， 并且该第五像素的位 置是对应于该些第一像素的至少其中之一的位置， 该图像处理器还用以根据该些第五像素的一高频部。

12、分来调整该中心像素的一颜色值。 10. 根据权利要求 9 所述的高动态范围图像传感器， 其特征在于， 该图像处理器至少根 据该第一曝光区块与该第二曝光区块来产生对应于该原始图像的一高动态范围图像的操 作包括 ： 该图像处理器至少根据该第一曝光区块的该中心像素与该第二曝光块的该中心像素 来产生该高动态范围图像。 权 利 要 求 书 CN 104253946 A 4 1/7 页 5 产生高动态范围图像的方法及其图像传感器 技术领域 0001 本发明是有关于一种高动态范围图像处理技术， 且特别是有关于一种具有能产生 高动态范围图像的方法及其图像传感器。 背景技术 0002 所谓 “动态范围” ， 是。

13、指画面中的最大亮度值与最小亮度值的范围或比值。对于摄 影而言， 动态范围又可分为 “图像传感器的动态范围” 和 “场景的动态范围” 。其中， 图像传 感器的动态范围是指感光元件所能接受亮度变化的范围。 场景的动态范围是指拍摄场景中 的亮度差异范围， 也就是画面中最亮区域和最暗区域的差异。 0003 当场景的动态范围大于图像传感器的动态范围时， 代表拍摄场景中有极端的亮部 与暗部， 超出了感光元件所能记录的色阶， 因此照片中会出现全黑或全白的区块。 为了克服 此缺陷， 高动态范围 （High Dynamic Range， HDR） 图像传感器通过图像处理技术， 使得处理 后图像的动态范围大于一般。

14、相机获取的单一图像所提供的动态范围。 0004 高动态范围图像传感器的其中一种操作模式为产生同画面中两条长曝光及两条 短曝光连续交替的图像。在空间上而言， 每一种曝光其垂直方向的解析度只剩下全解析度 的一半。且利用长曝光及短曝光连续交替拍摄所得的单一图像中会产生噪声等级不一致、 过曝时机不一致的问题。据此， 上述的噪声将影响高动态范围图像的品质。 发明内容 0005 有鉴于此， 本发明提供一种产生高动态范围图像的方法及其图像传感器， 用以提 供高品质的高动态范围图像。 0006 本发明一实施例提出一种产生高动态范围图像的方法， 适于处理依据第一曝光时 间与第二曝光时间连续交错拍摄所得的原始图像。

15、。此方法包括 ： 取得原始图像中的一操作 区块， 其中操作区块包括多个第一像素与多个第二像素， 第一像素具有第一曝光时间， 并且 第二像素具有第二曝光时间 ； 判断每一个第一像素是否过曝光 ； 至少根据每一个第一像素 是否过曝光与第二像素来产生对应于第二曝光时间的一个第二曝光区块， 其中第二曝光区 块的大小相同于操作区块的大小。此方法还包括 ： 判断每一个第二像素是否过曝光 ； 至少 根据每一个第二像素是否过曝光与第一像素来产生对应于第一曝光时间的一个第一曝光 区块， 其中第一曝光区块的大小相同于操作区块的大小 ； 以及至少根据第一曝光区块与第 二曝光区块来产生对应于原始图像的高动态范围图像。。

16、 0007 在一实施例中， 上述的第一曝光时间为长曝光， 并且第二曝光时间为短曝光。 所述 判断每一个第一像素是否过曝光的步骤包括 ： 判断每一个第一像素的颜色值是否大于一个 第一临界值以判断第一像素是否过曝光。其中判断每一个第二像素是否过曝光的步骤包 括 ： 将每一个第二像素乘上增益 ； 以及判断每一个第二像素乘上增益的乘积是否大于一个 第二临界值以判断出第二像素是否过曝光。 上述的增益是根据第一曝光时间与第二曝光时 间所计算出。 说 明 书 CN 104253946 A 5 2/7 页 6 0008 在一实施例中， 上述的产生第一曝光区块的步骤包括 ： 对于每一个过曝光的第二 像素， 根据。

17、具有相同通道的第一像素内插出一个第三像素 ； 以及根据第一像素、 未过曝光的 第二像素乘上增益的乘积、 以及内插出的第三像素产生第一曝光区块。上述产生第二曝光 区块的步骤包括 ： 对于每一个过曝光的第一像素， 根据具有相同通道的第二像素内插出一 个第四象素 ； 以及根据第二像素、 未过曝光的第一像素除以增益的商数、 以及内插出的第四 像素产生第二曝光区块。 0009 在一实施例中， 上述的第一曝光区块与第二曝光区块中的一中心像素的位置是对 应于一个第二像素的位置。上述产生高动态范围图像的方法还包括 ： 从中心像素所对应的 第一曝光区块或第二曝光区块中取得多个第五像素， 其中这些第五像素与中心像。

18、素具有相 同的通道， 并且第五像素的位置是对应于至少一个第一像素的位置 ； 根据这些第五像素的 高频部分来调整中心像素的颜色值。 0010 在一实施例中， 上述的至少根据第一曝光区块与第二曝光区块来产生对应于原始 图像的高动态范围图像的步骤包括 ： 至少根据第一曝光区块的中心像素与第二曝光区块的 中心像素来产生高动态范围图像。 0011 以另外一个角度来说， 本发明一实施例提出一种高动态范围图像传感器， 包括图 像传感器、 存储单元与图像处理器。图像传感器会依据第一曝光时间与第二曝光时间连续 交错拍摄， 以产生原始图像。存储单元是耦接图像传感器， 用以存储原始图像。图像处理器 是耦接图像传感器。

19、与存储单元， 用以取得原始图像中的一操作区块。此操作区块包括多个 第一像素与多个第二像素， 第一像素具有第一曝光时间， 并且第二像素具有第二曝光时间。 图像处理器也用以判断每一个第一像素是否过曝光， 并且至少根据每一个第一像素是否过 曝光与第二像素来产生对应于第二曝光时间的一个第二曝光区块。 其中第二曝光区块的大 小是相同于操作区块的大小。图像处理器也用以判断每一个第二像素是否过曝光， 并且至 少根据每一个第二像素是否过曝光与第一像素来产生对应于第一曝光时间的一个第一曝 光区块。其中第一曝光区块的大小相同于操作区块的大小。其中， 图像处理器至少根据第 一曝光区块与第二曝光区块来产生对应于原始图。

20、像的高动态范围图像。 0012 在一实施例中， 上述的图像处理器是判断每一个第一像素的一颜色值是否大于第 一临界值以判断每一个第一像素是否过曝光。 图像处理器判断第二像素是否过曝光的步骤 包括 ： 图像处理器将每一个第二像素乘上一增益 ； 以及图像处理器判断每一个第二像素乘 上增益的乘积是否大于一个第二临界值以判断出每一个第二像素是否过曝光。 此增益是根 据第一曝光时间与第二曝光时间所计算出。 0013 在一实施例中， 对于每一过曝光的第二像素， 图像处理器会根据具有相同通道的 第一像素内插出一个第三像素。图像处理器也会根据第一像素、 未过曝光的第二像素乘上 该增益的乘积、 以及内插出的第三像。

21、素来产生第一曝光区块。对于每一个过曝光的第一像 素， 图像处理器会根据具有相同通道的第二像素内插出一个第四象素。图像处理器会根据 第二像素、 未过曝光的第一像素除以该增益的商数、 以及内插出的第四像素来产生第二曝 光区块。 0014 在一实施例中， 上述的第一曝光区块与第二曝光区块中的一中心像素的位置是对 应于一个第二像素的位置。 图像处理器还用以从此中心像素所对应的第一曝光区块或第二 曝光区块中取得多个第五像素。这些第五像素与中心像素具有相同的通道， 并且第五像素 说 明 书 CN 104253946 A 6 3/7 页 7 的位置是对应于第一像素的位置。 图像处理器还用以根据第五像素的高频。

22、部分来调整中心 像素的颜色值。 0015 在一实施例中， 上述的图像处理器至少是根据第一曝光区块的中心像素与第二曝 光区块的中心像素来产生高动态范围图像。 0016 基于上述， 本发明实施例所提供的产生高动态范围图像的方法及其图像传感器， 可处理有不同曝光时间的原始图像并产生对应的高动态范围图像。 0017 为让本发明的上述特征和优点能更明显易懂， 下文特举实施例， 并配合附图作详 细说明如下。 附图说明 0018 图 1 是依照本发明一实施例示出的高动态范围图像传感器的方块图 ； 0019 图 2 是依照本发明一实施例示出的图像传感器采用不同曝光时间所获得的原始 图像的示意图 ； 0020 。

23、图 3 是依照本发明一实施例示出的操作区块 W1 进行区块处理的过程示意图 ； 0021 图 4 是依照本发明一实施例示出产生高动态范围图像的方法的流程图。 0022 附图标记说明 ： 0023 100 ： 高动态范围图像传感器 ； 0024 110 ： 图像传感器 ； 0025 120 ： 存储单元 ； 0026 130 ： 图像处理器 ； 0027 200 ： 原始图像 ； 0028 R1 R8、 R 1 R5、 R”1 R”5： 像素列 ； 0029 W1 W3： 操作窗口 ； 0030 LE ： 长曝光时间 ； 0031 SE ： 短曝光时间 ； 0032 G1、 B2、 G3、 B4。

24、、 G5、 R6、 G7、 R8、 G9、 R10、 G11、 B12、 G13、 B14、 B15、 R16、 G17、 R18、 G19、 R20、 G21、 B22、 G23、 B24、 G25、 G 11、 B12、 G13、 B14、 G15、 R16、 G17、 R18、 G19、 R20、 G”1、 B”2、 G”3、 B”4、 G” 5、 R”6、 G”7、 R”8、 G”9、 R”10、 G”21、 B”22、 G”23、 B”24、 G”25： 像素 ； 0033 WL： 长曝光区块 ； 0034 WS： 短曝光区块 ； 0035 QL： 长曝光输出像素 ； 0036 QS。

25、： 短曝光输出像素 ； 0037 NR ： 噪声抑制 ； 0038 S401 S408 ： 步骤。 具体实施方式 0039 现有一种图像， 是由两条长曝光及两条短曝光的像素列交替组成。为了取得 高动态范围图像， 会先根据曝光时间的不同将此类图像分成多个子图像， 使每一类别的 子图像各有一致的曝光时间。然后， 对每一个子图像做升取样， 并根据升取样后的子图 说 明 书 CN 104253946 A 7 4/7 页 8 像产生高动态范围图像。一般来说， 对于这类的图像， 可利用下列三种做法的任意组合 对每个子图像做升取样。第一种为内插 （interpolation）法， 采用交叉至循序扫描转换 （。

26、Interlaced-to-Progressive Conversion， IPC） 。 第二种会根据每个子图像的曝光时间来 产生一个增益系数 （gain factor） ， 并且将一个像素的颜色值来乘上或是除以此增益系数。 第三种会同时使用邻近线 （neighbor line） 与增益系数。 0040 然而， 上述第二种及第三种做法是同时参考不同曝光时间的子图像， 因此子图像 彼此之间噪声等级不一致的问题将在升取样后的图像中造成明显的横条状杂纹。 而第一种 做法因为只采用单一一张子图像去做升取样， 所以后续产生的图像会比较模糊。 0041 基此， 为了充分利用原始图像中每个像素的信息， 本案。

27、并非单纯采用内插法去对 具有相同曝光时间的像素做升取样， 而是采用区块处理并且加入平衡噪声的处理机制， 使 得升取样后的图像不会有横杂纹产生。为了使本发明的内容更为明了， 以下列举实施例作 为本案确实可据以实施的范例。 0042 图 1 是依照本发明一实施例所示出的高动态范围图像传感器的方块图。请参 照图 1， 高动态范围图像传感器 100 例如是可产生高动态范围图像的数码相机、 数码单反 （Digital Single Lens Reflex， DSLR） 相机、 数码摄影机 （Digital Video Camcorder， DVC） 等。在另一实施例中， 高动态范围图像传感器 100 可。

28、内建于智能手机、 平板电脑或笔记本电 脑等电子装置， 不限于上述。 0043 高动态范围图像传感器 100 包括图像传感器 110、 存储单元 120 以及图像处理器 130。其功能分述如下 ： 0044 图像传感器 110 包括镜头、 感光元件以及快门模块等。感光元件例如是电 荷耦合元件 （Charge Coupled Device， CCD） 、 互补性氧化金属半导体 （Complementary Metal-Oxide Semiconductor， CMOS）元件或其他元件。快门模块例如由多数个叶片 （blades） 及驱动模块所构成， 而可用以逐条 （line-by-line） 控制这。

29、些感光元件中每条水平 感光元件的曝光时间。 0045 存储单元 120 例如是任意型式的固定式或可移动式随机存取存储器 （Random Access Memory， RAM） 、 只读存储器 （Read-Only Memory， ROM） 、 快闪存储器 （Flash memory） 或硬盘等， 而可用以存储图像及其他数据。 0046 图像处理器 130 例如是中央处理机 （Central Processing Unit， CPU） ， 可程序化 的一般用途或特殊用途的微处理器 （Microprocessor） 或数字信号处理器 （Digital Signal Processor， DSP） 。

30、等装置。 0047 图像传感器 110 依据第一曝光时间 （本实施例举例为长曝光时间， 简称长曝光） 与 第二曝光时间 （本实施例举例为短曝光时间， 简称短曝光） 连续交错拍摄而得到一个原始图 像。在一实施例中， 图像传感器 110 例如可控制两条水平像素列为长曝光进行拍摄， 两条水 平像素列为短曝光进行拍摄， 依序交替进行。 0048 举例来说， 图 2 是依照本发明一实施例所示出的图像传感器采用不同曝光时间所 获得的原始图像的示意图。请参照图 2， 原始图像 200 中的第一水平像素列 R1 及第二水平 像素列R2是采用长曝光LE ； 第三水平像素列R3及第四水平像素列R4是采用短曝光SE。

31、 ； 第 五水平像素列 R5 及第六水平像素列 R6 是采用长曝光 LE ； 第七水平像素列 R7 及第八水平 像素列R8是采用短曝光SE。 图像传感器110采用长短曝光交错的方式不限于上述， 在另一 说 明 书 CN 104253946 A 8 5/7 页 9 实施范例中， 图像传感器 110 亦可针对单数的水平像素列进行长曝光拍摄， 而针对双数的 水平像素列进行短曝光拍摄。或者， 图像传感器 110 可以对三条水平像素列进行长曝光以 后， 对两条水平像素列进行短曝光。 0049 图像处理器130是以操作区块为单位来处理原始图像200。 详细地说， 操作区块又 可称之为窗口 （window）。

32、 ， 操作区块的尺寸例如为 N*N 像素， 其中 N 为正整数， 但本发明并不 限制 N 的数值。原始图像 200 中的操作区块 W1、 W2、 W3的尺寸例如设定为 5*5 像素。需说明 的是， 原始图像 200 的操作区块并不限于 3 个， 在此仅作为举例解说其作用， 实际应用上可 针对每一输出像素设定其所属的操作区块。对于每一个操作区块， 图像处理器 130 会产生 一个长曝光输出像素与一个短曝光输出像素。 而所有的长曝光输出像素会组成一个长曝光 图像， 而所有的短曝光输出像素会组成一个短曝光图像。长曝光图像的大小会相同于原始 图像200的大小， 而短曝光图像的大小也会相同于原始图像20。

33、0的大小。 图像处理器130会 根据长曝光图像与短曝光图像来产生一个对应于原始图像 200 的高动态范围图像。在此， 将以一个操作区块为例来说明如何产生长曝光输出像素与短曝光输出像素。 0050 图3是依照本发明一实施例所示出的操作区块W1进行区块处理的过程示意图。 请 参照图 3， 在本实施例中， 操作区块 W1包括 25 个像素， 并且这 25 个像素为贝尔排列 (bayer arrangement)。每一个像素拥有一个颜色值。例如， 像素 G1、 G3、 G5等拥有绿色的颜色值 ； 像 素 B2、 B4等拥有蓝色的颜色值 ； 而像素 R6、 R8、 R10等拥有红色的颜色值。值得注意的是。

34、， 图 3 中的贝尔排列仅是一个范例， 在其他实施例中， 操作区块 W1可以有其他的排列方式。例如， 操作区块 W1中像素列 R1 的第一个像素可以从蓝色或是红色的像素开始排列， 本发明并不 在此限。操作区块 W1中多个第一像素具有长曝光时间， 并且操作区块 W1中的多个第二像素 具有短曝光时间。具体来说， 像素 G1、 B2、 G3、 B4、 G5、 R6、 G7、 R8、 G9、 R10、 G21、 B22、 G23、 B24与像素 G25具有长曝光时间 ； 而像素 G11、 B12、 G13、 B14、 G15、 R16、 G17、 R18、 G19与像素 R20具有短曝光时间。 以下称。

35、第一像素为长曝光像素， 称第二像素为短曝光像素。 0051 图像处理器130会取得操作区块W1， 判断每一个短曝光像素是否过曝光， 并且至少 根据短曝光像素是否过曝光与所有的长曝光像素来产生一个长曝光区块 WL( 亦称第一曝光 区块 )， 其中长曝光区块的大小会相同于操作区块 W1的大小。具体来说， 操作区块 W1中所 有的长曝光像素的颜色值会被复制到长曝光区块 WL中。例如， 像素 G1是长曝光， 因此图像 处理器 130 会复制像素 G1的颜色值至长曝光区块 WL中。而对于操作区块中 W1中所有的短 曝光像素， 图像处理器 130 会先判断这些像素是否过曝光。例如， 图像处理器 130 会。

36、将像素 G11的颜色值乘上一个增益， 并且判断像素 G11的颜色值乘上该增益后的乘积是否大于一个 临界值 ( 亦称第二临界值 )。此增益是根据长曝光时间与短曝光时间计算出 ( 例如为长曝 光时间与短曝光时间的比率 )。若此乘积不大于第二临界值， 则图像处理器 130 会判断像 素 G11没有过曝光， 并且把此乘积复制到长曝光区块 WL中 ( 成为像素 G 11)。相反地， 若此 乘积大于第二临界值， 则图像处理器 130 会判断像素 G11为过曝光， 并且根据具有相同通道 的像素 G1与像素 G21内插出一个像素 ( 即成为像素 G 11)。对于操作区块 W1的每一个短曝 光像素， 图像处理器。

37、 130 都会执行与像素 G11相同的处理。换句话说， 图像处理器 130 会根 据所有的长曝光像素、 未过曝光的短曝光像素的颜色值乘上该增益的乘积、 以及内插出的 像素 ( 对应于过曝光的短曝光像素 ) 来产生长曝光区块 WL。 0052 在此实施例中， 图像处理器 130 是用像素 G3与 G23来内插出 G 13。然而， 在其他实 说 明 书 CN 104253946 A 9 6/7 页 10 施例中， 图像处理器 130 也可以用像素 G1、 G3、 G5、 G11、 G15、 G21、 G23与 G25中的任意组合来内插 出 G 13。本发明并不限制如何内插出过曝光的像素。 0053。

38、 图像处理器 130 也会依照类似的方法产生短曝光区块 WS。具体来说， 图像处理器 130 会将操作区块 W1中所有的短曝光像素复制到短曝光区块 WS中， 并且判断每一个长曝光 像素是否过曝光。 例如， 图像处理器130会判断像素G1的颜色值是否大于一个第一临界值。 若像素 G1的颜色值大于该第一临界值， 则图像处理器 130 会判断像素 G1为过曝光。若像素 G1没有过曝光， 则图像处理器 130 会将像素 G1的颜色值除以上述的增益， 并且将该颜色值 除以增益后的商数复制到短曝光区块 ( 即成为像素 G” 1)。若像素 G1为过曝光， 图像处理器 130 会利用具有相同通道的短曝光像素来。

39、内插出一个像素 ( 即， 成为像素 G” 1)。对于操作 区块 W1 中所有的长曝光像素， 图像处理器 130 都会执行与像素 G1相同的处理。换句话说， 图像处理器 130 会根据所有的短曝光像素、 未过曝光的长曝光像素除以该增益后的商数、 以及内插出的像素 ( 亦称第四像素， 对应于过曝光的长曝光像素 ) 来产生短曝光区块 WS。 0054 由于长曝光区块 WL与长曝光区块 WS是对应于不同的曝光时间， 因此图像处理器 130 至少可根据长曝光区块 WL与短曝光区块 WS来产生高动态范围图像。举例来说， 图像处 理器 130 可以对长曝光区块 WL执行一个噪声抑制 (noise reduc。

40、tion， NR) 的演算法以产生 长曝光输出像素 QL， 并且对短曝光区块 WS也执行噪声抑制 NR 的演算法来产生短曝光输出 像素 QS。在对所有的操作区块都执行上述的步骤以后， 所有的长曝光输出像素 QL与短曝光 区块 WS会分别组成长曝光图像与短曝光图像。接下来， 图像处理器 130 便可以根据长曝光 图像与短曝光图像来产生高动态范围图像。 0055 一般来说， 短曝光的像素会拥有相对较多的噪声， 而长曝光的像素会拥有较少的 噪声。因此， 在一实施例中， 图像处理器 130 会在长曝光区块 WL与短曝光区块 WS中， 将原本 属于短曝光像素的高频部分置换为长曝光像素的高频部分。在此，“。

41、原本属于短曝光” 所指 的是， 一个像素所对应于操作区块 W1 中的位置是在像素列 R3与 R4内。另一方面，“原本属 于长曝光” 所指的是， 一个像素所对应于操作区块 W1中的位置是在像素列 R1、 R2与 R5内。例 如， 长曝光区块 WL中的像素 G 11与像素 B12等原本是属于短曝光像素 ； 而短曝光区块 WS中 的像素 G” 1与像素 B”2等原本是属于长曝光像素。更具体来说， 图像处理器 130 会判断长 曝光区块 WL与短曝光区块 WS中的中心像素 ( 即， 像素 G 13 与 G13) 是否原本是属于短曝光 像素。在图 3 的实施例中， 长曝光区块 WL的中心像素 G 13与。

42、短曝光区块 WS的中心像素 G13 原本都属于短曝光像素。对于中心像素 G 13来说， 图像处理器 130 会从长曝光区块 WL中取 得多个像素 ( 亦称第五像素 )， 这些像素原本是属于长曝光像素并且会与像素 G 13具有相 同的通道 ( 例如， 像素 G7、 像素 G9、 像素 G21等 )。图像处理器 130 会根据这些第五像素来调 整像素 G 13的颜色值。在一实施例中， 图像处理器 130 会从相邻于像素 G13的像素列 R2 中取得这些像素， 并根据这些像素的高频部分来调整像素 G 13的颜色值， 使得像素 G13的 噪声会接近像素列 R 2上的噪声。然而， 在另一实施例中， 图像。

43、处理器 130 也可以从像素列 R 1、 R2与 R5中取得这些第五像素， 对于每一个像素列都计算出高频部分， 并且根据每 一个像素列的高频部分来内插出像素列 R 3的高频部分， 藉此来调整像素 G13的颜色值。 最后， 图像处理器 130 会将调整后的像素 G 13输出成为长曝光输出像素 QL。 0056 在一实施例中， 图像处理器 130 是根据傅立叶转换来取得像素的高频部分。然而， 本发明并不在此限， 在另一实施例中， 图像处理器 130 也可以根据离散余旋转换 (discrete 说 明 书 CN 104253946 A 10 7/7 页 11 cosine transform)、 小。

44、波转换 (wavelet transform) 或是其他空间域至频率域 (spatial domain to frequenc domain) 的转换。值得注意的是， 图像处理器 130 可以预先计算傅立 叶转换而产生多个系数， 并且根据这些系数与第五像素的颜色值来调整中心像素 G 13的颜 色值。也就是说， 在处理器 130 不一定会在执行期 (run time) 作傅立叶转换。 0057 另一方面， 对于短曝光区块 WS的中心像素 G13来说， 图像处理器 130 会从像素列 R” 1、 R”2与 R”5中取得多个像素 ( 亦称为第五像素 )， 并且根据这些像素来调整像素 G13的 颜色值。

45、。类似地， 图像处理器 130 可以根据邻近的像素列 R” 2的高频部分来调整像素 G13的 颜色值、 或是根据多个像素列的高频部分来内插出像素列 R” 3的高频部分， 在此便不再赘 述。最后， 图像处理器 130 会将调整后的像素 G13输出成为短曝光输出像素 QS。 0058 如此一来， 在跟据长曝光像素 QL所产生的长曝光图像中， 所有的像素都会有接近 的噪声程度， 而不会有横条状杂纹。 相同地， 在根据短曝光像素QS所产生的短曝光图像中也 不会有横条状杂纹。然而， 在其他实施例中， 噪声抑制 NR 的步骤可以是对长曝光区块 WL与 短曝光区块 WS做一个滤波器运算 ( 例如为低通滤波器。

46、 )， 本发明并不限制噪声抑制 NR 所采 用的演算法。或者， 图像处理器 130 也可以不做噪声抑制 NR， 直接输出像素 G 13以成为长 曝光输出像素 QL， 并且直接输出像素 G13以成为短曝光输出像素 QS。 0059 图 4 是根据本发明一实施例示出产生高动态范围图像的方法的流程图。 0060 请参照图 4， 在步骤 S401 中， 取得原始图像中的一操作区块， 其中操作区块包括多 个第一像素与多个第二像素， 第一像素具有第一曝光时间， 并且第二像素具有第二曝光时 间。在步骤 S402 中， 判断每一个第一像素是否过曝光。若有第一像素过曝光， 在步骤 S403 中， 内插过曝光的第。

47、一像素。在步骤 S404 中， 至少根据第一像素是否过曝光与第二像素来 产生对应于第二曝光时间的第二曝光区块。在步骤 S405 中， 判断每一个第二像素是否过曝 光。若有第二像素过曝光， 在步骤 S406 中， 内插过曝光的第二像素。在步骤 S407 中， 至少 根据第二像素是否过曝光与第一像素来产生对应于第一曝光时间的一第一曝光区块。 在步 骤 S408 中， 至少根据第一曝光区块与第二曝光区块来产生对应于原始图像的高动态范围 图像。 在一实施例中， 第一曝光时间、 第一像素、 第一曝光区块即为上述的长曝光时间、 长曝 光像素与长曝光区块。但本发明并不在此限， 第一曝光时间、 第一像素、 第。

48、一曝光区块也可 以是短曝光时间、 短曝光像素与短曝光区块。图 4 中各步骤已详细说明如上， 在此不再赘 述。值得注意的是， 图 4 中各步骤可以实作为多个程序码或是电路 ； 此外， 图 4 的方法可以 搭配以上实施例使用， 也可以单独使用， 本发明并不在此限。 0061 综上所述， 在本发明实施例所提出的产生高动态范围图像的方法及其图像传感器 采用区块处理方式中， 对于有长曝光像素与短曝光像素的原始图像会做过曝光的检测。此 外， 噪声抑制的步骤可以避免产生横杂纹的问题。 0062 最后应说明的是 ： 以上各实施例仅用以说明本发明的技术方案， 而非对其限制 ； 尽管参照前述各实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解 ： 其 依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征 进行等同替换 ； 而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技 术方案的范围。 说 明 书 CN 104253946 A 11 1/3 页 12 图 1 图 2 说 明 书 附 图 CN 104253946 A 12 2/3 页 13 图 3 说 明 书 附 图 CN 104253946 A 13 3/3 页 14 图 4 说 明 书 附 图 CN 104253946 A 14 。