使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影.pdf

《使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影.pdf》由会员分享，可在线阅读，更多相关《使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影.pdf（18页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102314601 A (43)申请公布日 2012.01.11 CN 102314601 A *CN102314601A* (21)申请号 201110187815.1 (22)申请日 2011.07.06 12/830518 2010.07.06 US G06K 9/40(2006.01) G06K 9/00(2006.01) (71)申请人 通用汽车环球科技运作有限责任公 司 地址 美国密执安州 (72)发明人 W. 张 Q. 吴 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 代易宁 (54) 发明名称 使用非线性光照恒定核去除由基于。

2、车辆的相 机捕获的图像中的阴影 (57) 摘要 本发明涉及使用非线性光照恒定核去除由基 于车辆的相机捕获的图像中的阴影。提供了一种 用于去除捕获图像中光照产生的阴影的方法。通 过图像捕获装置捕获图像。所捕获图像的每个像 素由对数图中的相应颜色值表示。确定非线性光 照恒定核。在所述对数图中为各相应颜色集确定 光照方向， 所述光照方向正交于所述非线性光照 恒定核。各所绘像素的色度对数值投射在所述非 线性光照恒定核上。 识别所述输入图像中的边缘。 识别所述光照恒定图像域中的边缘。比较识别出 的边缘。响应于所述输入图像中识别的边缘而所 述光照恒定图像域中相关边缘的缺乏， 确定是否 存在阴影边缘。 产生。

3、减少了阴影的图像， 用于车辆 的基于视觉的系统的场景分析。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 9 页 附图 6 页 CN 102314605 A1/2 页 2 1. 一种用于去除捕获图像中光照产生的阴影的方法， 所述方法包括如下步骤 ： （a） 通过图像捕获装置捕获场景的输入图像 ； （b） 将所捕获的输入图像的每个像素都绘在两维对数图上， 每个像素为所述对数图中 多个颜色集之一的色调变化 ； （c） 确定随所述多个颜色集而变化的非线性光照恒定核 ； （d） 在所述对数图中确定对于各相应颜色集的光。

4、照方向， 对于各相应颜色集的所述光 照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于 所述非线性光照恒定核 ； （e） 将各所绘像素的色度对数值投射在所述非线性光照恒定核上， 所述非线性光照恒 定核分成多个颜色集范围， 所述颜色集范围每个与特定颜色集的变化相关联， 其中所述非 线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的 颜色值 ； （f） 识别所述输入图像中的边缘 ； （g） 识别所述光照恒定图像域中的边缘 ； （h） 将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较 ； （i） 响应于所述输入图像中识别的边缘而所。

5、述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘 ； 以及 （j） 产生减少阴影的图像， 用于通过基于车辆视觉的系统的场景分析。 2. 如权利要求 1 的方法， 其中步骤 （d） 还包括选择提供在投影在所述非线性光照恒定 核上的所述特定颜色集与其它颜色集之间的显著的分隔距离的非线性光照恒定核。 3. 如权利要求 1 的方法， 其中选择所述非线性光照恒定核基本上最小化了所述特定颜 色集内所述色调变化的投影值之间的距离。 4. 如权利要求 1 的方法， 其中所述对数图包括对数型蓝 - 绿轴和对数型红 - 绿轴。 5. 如权利要求 1 的方法， 其中识别所述输入图像和所述光照恒定图像域中的。

6、边缘还包 括如下步骤 ： 从所述输入图像确定边缘的梯度 ； 以及 从所述光照恒定图像域确定边缘的梯度。 6. 如权利要求 5 的方法， 其中将所述输入图像的识别的边缘与所述光照恒定图像域中 的识别的边缘作比较包括， 将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一 个阈值作比较的步骤。 7. 如权利要求 6 的方法， 其中确定是否存在阴影边缘的步骤还包括如下步骤 ： 确定所述输入图像的梯度是否大于第一阈值 ； 以及 确定所述光照恒定图像域的梯度是否小于第二阈值。 8. 如权利要求 6 的方法， 其中将所述输入图像的梯度和所述光照恒定图像域的梯度与 至少一个阈值作比较还包括如下步骤 ： 计。

7、算所述输入图像的梯度与所述光照恒定图像域的梯度之间的梯度差。 9. 如权利要求 8 的方法， 其中计算梯度差包括下列步骤 ： 确定所述输入图像的梯度范数 ； 确定所述光照恒定图像域的梯度范数 ； 以及 权 利 要 求 书 CN 102314601 A CN 102314605 A2/2 页 3 通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯 度差。 10. 如权利要求 9 的方法， 其中确定是否存在阴影边缘的步骤还包括确定所述梯度差 是否大于预定阈值的步骤。 权 利 要 求 书 CN 102314601 A CN 102314605 A1/9 页 4 使用非线性光照恒。

8、定核去除由基于车辆的相机捕获的图像 中的阴影 技术领域 0001 实施例总地涉及基于视觉的目标检测系统。 背景技术 0002 光照情形如阴影会引起基于视觉的目标检测系统的误差。 阴影会扭曲被捕获对象 的颜色， 导致 （1） 由于阴影产生的边缘与 （2） 不同实体 （例如道路与风景） 间的边缘之间的 模糊不清。已经使用一些应用来过滤掉阴影， 但是现有技术的系统假定使用具有高质量成 像器的相机。 具有高质量成像器的相机昂贵且包装尺寸大， 因此， 特别是在基于批量生产的 车辆的视觉系统中并不实用。使用高质量成像器， 相机传感器被假定为窄频带并且如同狄 拉克 函数那样工作， 因为它们仅在一个波长具有非。

9、空响应。然而， 通常用在基于车辆视 觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此， 用于去除阴影 的现有技术不适于使用低成本生产的成像器。 发明内容 0003 实施例的优点在于从将要被车用视觉感测系统分析的、 由图像捕获装置捕获的图 像中减少阴影。该阴影减少技术利用非线性光照恒定核， 该非线性光照恒定核区分和维持 各颜色集的色度， 同时去除施加在各自颜色集上的所有光照影响， 不管各颜色集的投影光 照方向彼此不平行。 0004 实施例设想了一种用于去除捕获图像中光照产生的阴影的方法。 通过图像捕获装 置捕获场景的输入图像。将所捕获输入图像的每个像素都绘在两维对数图上。每个像素。

10、为 所述对数图中多个颜色集之一的变化。随所述多个颜色集变化而确定非线性光照恒定核。 为所述对数图中各相应颜色集确定光照方向。 各相应颜色集的所述光照方向在颜色集的相 应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于所述非线性光照恒定 核。将各所绘像素的色度对数值投射在所述非线性光照恒定核上。所述非线性光照恒定核 分成多个颜色集范围。所述颜色集范围每个与特定颜色集的变化相关联， 其中所述非线性 光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色 值。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的 识别出的边缘与所述光照恒定图像域中的。

11、识别出的边缘作比较。 响应于所述输入图像中识 别的边缘而所述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘。产生减少 了阴影的图像， 用于基于车辆视觉的系统的场景分析。 0005 本发明提供以下技术方案 ： 方案 1. 一种用于去除捕获图像中光照产生的阴影的方法， 所述方法包括如下步骤 ： （a） 通过图像捕获装置捕获场景的输入图像 ； （b） 将所捕获的输入图像的每个像素都绘在两维对数图上， 每个像素为所述对数图中 多个颜色集之一的色调变化 ； 说 明 书 CN 102314601 A CN 102314605 A2/9 页 5 （c） 确定随所述多个颜色集而变化的非线性光照恒定核。

12、 ； （d） 在所述对数图中确定对于各相应颜色集的光照方向， 对于各相应颜色集的所述光 照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于 所述非线性光照恒定核 ； （e） 将各所绘像素的色度对数值投射在所述非线性光照恒定核上， 所述非线性光照恒 定核分成多个颜色集范围， 所述颜色集范围每个与特定颜色集的变化相关联， 其中所述非 线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的 颜色值 ； （f） 识别所述输入图像中的边缘 ； （g） 识别所述光照恒定图像域中的边缘 ； （h） 将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作。

13、比较 ； （i） 响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在， 确定是否存在阴影边缘 ； 以及 （j） 产生减少阴影的图像， 用于通过基于车辆视觉的系统的场景分析。 0006 方案 2如方案 1 的方法， 其中所述非线性光照恒定核为椭圆。 0007 方案 3如方案 1 的方法， 其中所述非线性光照恒定核为圆形。 0008 方案 4如方案 1 的方法， 其中所述非线性光照恒定核为多边形。 0009 方案 5如方案 1 的方法， 其中步骤 （d） 还包括选择提供在投影在所述非线性光照 恒定核上的所述特定颜色集与其它颜色集之间的显著的分隔距离的非线性光照恒定核。 0010 。

14、方案6 如方案3的方法， 其中选择所述非线性光照恒定核基本上最小化了所述特 定颜色集内所述色调变化的投影值之间的距离。 0011 方案 7如方案 1 的方法， 其中所述对数图包括对数型蓝 - 绿轴和对数型红 - 绿 轴。 0012 方案8 如方案1的方法， 其中识别所述输入图像和所述光照恒定图像域中的边缘 还包括如下步骤 ： 从所述输入图像确定边缘的梯度 ； 以及 从所述光照恒定图像域确定边缘的梯度。 0013 方案9 如方案8的方法， 其中将所述输入图像的识别的边缘与所述光照恒定图像 域中的识别的边缘作比较包括， 将所述输入图像的梯度和所述光照恒定图像域的梯度与至 少一个阈值作比较的步骤。 。

15、0014 方案 10如方案 9 的方法， 其中确定是否存在阴影边缘的步骤还包括如下步骤 ： 确定所述输入图像的梯度是否大于第一阈值 ； 以及 确定所述光照恒定图像域的梯度是否小于第二阈值。 0015 方案 11如方案 9 的方法， 其中将所述输入图像的梯度和所述光照恒定图像域的 梯度与至少一个阈值作比较还包括如下步骤 ： 计算所述输入图像的梯度与所述光照恒定图像域的梯度之间的梯度差。 0016 方案 12如方案 11 的方法， 其中计算梯度差包括下列步骤 ： 确定所述输入图像的梯度范数 ； 确定所述光照恒定图像域的梯度范数 ； 以及 说 明 书 CN 102314601 A CN 102314。

16、605 A3/9 页 6 通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯 度差。 0017 方案13 如方案12的方法， 其中确定是否存在阴影边缘的步骤还包括确定所述梯 度差是否大于预定阈值的步骤。 0018 方案 14如方案 1 的方法， 其中对于每个颜色通道都执行步骤 （f） -（i） 。 0019 方案 15如方案 14 的方法， 其中所述颜色通道包括红色通道、 绿色通道和蓝色通 道。 0020 方案 16如方案 14 的方法， 其中产生减少阴影的图像的步骤还包括如下步骤 ： 对于成功地识别出的阴影边缘， 将所述输入图像中的梯度设置为零 ； 积分各自通道的梯度，。

17、 用于重新构造灰度图像 ； 以及 组合各通道， 用以形成减少阴影的彩色图像。 附图说明 0021 图 1 为捕获道路图像的车辆的平面图。 0022 图 2 为由车辆内图像捕获装置捕获的图像。 0023 图 3 为阴影减少过程的框图。 0024 图 4 为示出线性光照恒定轴线的光照恒定线图的图表。 0025 图 5 为使用低质量图像捕获装置的示例性光照恒定线图。 0026 图 6 为应用非线性光照恒定轴线的光照恒定线图的图表。 0027 图 7 为用于从捕获的图像减少阴影的方法的流程图。 具体实施方式 0028 图 1 中示出了沿着道路 12 行驶的车辆 10。基于视觉的成像装置 14 捕获车辆。

18、 10 前方的道路的图像， 用以检测行驶可行区域 （下文称畅通路线） 内的图像。基于视觉的成像 装置 14 用于检测目标。在优选实施例中， 基于视觉的成像装置 14 用于为系统 （例如， 但不 限于， 车道偏离警告系统） 识别畅通路线或道路中的车道标记。基于视觉的成像装置 14 优 选安装在车辆的内部， 恰在挡风玻璃的后方， 用于捕获车辆外面和前方发生的事件。 尽管基 于视觉的成像装置 14 可用于多种功用 （例如， 增强驾驶员夜视） ， 但是本文所述的主要目的 是用于需要识别道路标记、 车道标记、 道路标志或其它道路目标的系统。 这种系统的例子包 括， 但不限于， 必须要求系统能够识别车辆处。

19、于道路中何处的车道偏离警告系统， 用以警告 驾驶员无意识的车道变化。 0029 图 2 示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角 度， 可能会在车辆行驶路线中的物体上投射阴影， 从而增加了系统区分道路上的物体与投 射在道路上的阴影的难度。如图 2 中所示， 行驶在被驾驶车辆前方的车辆 16 以及路灯 18 和 20 可在车行道中投射阴影 22、 24 和 26， 使得难以识别道路上的车道标记 28。 0030 图 3 中示出了用于去除阴影的示例性图形化流程方法。在框 30 中， 含有阴影的图 像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。 0031 在框。

20、31中， 执行后面描述的光照恒定分析， 以检测图像中的所有阴影。 在框32中， 在光照恒定图像域中表现输入图像。 为图形目的在光照恒定图像域中示出的图像为灰度图 说 明 书 CN 102314601 A CN 102314605 A4/9 页 7 像， 其中颜色集是复现的， 不管输入图像中存在的光照条件或阴影。应当理解， 为在车辆中 实施该技术的目的， 不需要产生实际恒定图像 ； 而是， 可使用数学分析、 建模或其它表现方 式来模拟光照恒定图像域中的图像。 如图所示， 作为光照恒定分析的结果， 从光照恒定图像 域中去除了阴影。 0032 在框 33 中， 比较输入图像和光照恒定图像域， 用于确。

21、定原始输入图像中哪儿存在 阴影以构造减少了阴影的图像。 0033 在框 34 中， 作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结 果， 从捕获的输入图像去除了阴影。 0034 图 4 描述了去除阴影的数学方法， 如下所述。在用于路上车辆的目标检测和分类 中， 捕获图像的背景和前景是不断变化的。对于单一的 RGB（红、 绿、 蓝） 图像， 可基于光照 恒定分析去除投射的阴影。如果照明大致为三 函数型传感器成像的具有朗伯面的普朗 克源， 那么可形成色度波段比 （例如， 3 波段 RGB 彩色图像的 R/G、 B/G） 。另外， 对于在不同照 明条件下的任意颜色集， 对于两维 log(。

22、R/G)， log(B/G) 值的对数图形成直线。此外， 各不 同颜色集的每条这种线具有相同的斜率。 因此， 可使用该物理概念得到光照恒定图像域， 其 中不管照明条件如何 （即， 是否存在阴影） ， 一个颜色集的颜色值都映射至光照恒定图像中 的相同值。 0035 另外， 图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像 中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作， 以确定阴影边 缘。 由于阈值阴影边缘是噪声， 所以应用形态学运算， 以扩展边缘并填充阴影边缘中的一些 空隙。此外， 被识别的阴影边缘被设定为零， 用以去除光照变化的影响。各处理通道的梯度 图像的。

23、积分步骤用于放弃乘法常数而恢复减少了阴影的图像， 然后估计乘法常数， 以获得 最终减少了阴影的彩色图像。 0036 这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技 术使用标准彩色图像作为输入， 而输入为图像的光照恒定表示。光照恒定图像域通过将其 色度对数值投影在光照恒定方向上来获得。 为执行该投影， 使用朗伯模型用于图像形成。 假 定， 如果表面外观相同， 并且独立于取景方向 （即， 理想漫反射面） ， 那么照射在该表面上并 入射在相机传感器上的具有光谱功率分布 （SPD） ： E() 的光源导致如下响应 ： 其中 表示表面反射率， 其定义为在每波长基础上反射的入射光的。

24、分数，（发 光体的SPD） 将发光体发出的功率定义为波长的函数，为成像装置的传感器(其中 ) 的光谱灵敏度， 明确指明了传感器在各波长处吸收的光的比例。如果上面的各 项相乘并在 （传感器具有非零响应的波长范围） 上积分， 那么它给出 Rk, 图像中各像素处 的色值。 0037 为了简化公式 （1） 和导出恒定表示， 除朗伯表面假定之外， 还利用其它两个假定。 第一， 假定光照源遵守普朗克黑体辐射体定律。普朗克黑体辐射体定律指出， 当在温度 T 加 热时的理想球形辐射体以特定的波长发出电磁辐射 （例如， 发光、 闪光） 。普朗克光源的例子 包括太阳和天空， 其为在我们的目标检测和分类应用中最感兴。

25、趣的光照源。 这样， 该光照可 说 明 书 CN 102314601 A CN 102314605 A5/9 页 8 通过其色温 T 参数化为 ： 其中 C1和 C2为常数， I 为光的总体强度。 0038 第二假定为， 假定相机传感器为窄带式并且如同迪拉克 函数那样工作， 因为它 们仅在单一波长 k有非空响应。结果， 相机灵敏度可由下式表示 : 其中为 Qk具有非空响应处的唯一波长。通过这些约束， 原始图像形成可表达为 ： 对于图像中的任何颜色， 该颜色可通过 RGB 颜色通道的组合 （例如， i= 红色、 蓝色） 来得 到。波段比 2 维矢量色度可通过除以两个颜色通道产生 ： 其中 p 固。

26、定为一个颜色通道 （例如， 绿色） ， i 指示另两个颜色通道 （例如， i= 红色、 蓝 色） 。由于对于所有三个颜色通道， 各像素处的光照强度效应 I 都是恒定值， 所以去除 I。因 此， ci不依赖于强度和遮光信息。于是对数可如下导出 ： 其中，,。 0039 以矢量形式概括上面的公式， 推导出下面的矢量 ： 其中为依赖于要成像的表面和相机的2维矢量， 但是与光源无关， 为与要成像的表 面无关但依赖于相机的 2 维矢量。结果， 光照颜色变化 （即， T 变化） ， 且给定表面的色度对 数矢量沿着直线移动， 其从点开始且沿着方向移动。 此外， 该直线的方向依赖于相机 的特性， 但是与表面和。

27、光源无关。 0040 公式 （8） 还有效地表明， 对于在各种普朗克光源下的相同表面， 色度对数值落在具 说 明 书 CN 102314601 A CN 102314605 A6/9 页 9 有如下斜率的线上 ： 将每个色度对数值投射在垂直于光照斜率的方向上给出了在对应图像位置中的值， 所 述对应图像位置仅依赖于相对光照基本不变的颜色反射率。 产生的图像为光照恒定图像。 0041 图 4 示出了恒定图像形成过程。图 4 中， 图像具有四个不同表面 （即， 颜色集） 的色 度对数值。这假定在一定范围的普朗克光源下利用理想的窄带传感器。显然， 各表面的色 度对数值沿着色度空间中各自的线 40、 4。

28、1、 42 和 43 降低。这些线具有方向 e。实黑线 44 示 出了与光照方向正交的方向， 称为光照恒定轴线。 不管哪个视角方向的光照， 给定表面的各 色度对数值沿着这条线投影到一个点上。这些点代表如上定义的恒定图像。 0042 假如有新的输入图像， 一旦相对于各颜色集的光照方向找出恒定方向， 那么所有 像素都被转换到色度对数空间并被投影到该恒定方向上。 0043 其目的是产生减少了阴影的彩色图像。 含有阴影的原始输入图像用于导出减少了 阴影的恒定图像。 通过将原始图像的边缘与从恒定图像得到的边缘作比较可以识别对应于 阴影的边缘。通过对阴影边缘进行阈值处理和将原始图像中的阴影梯度设置为零， 。

29、能够排 除包括由于光照效应引起的急剧变化的梯度。最后， 积分阈值梯度产生减少了阴影的全色 图像。下面提供了用于获得减少了阴影的全色图像的过程的详细描述。 0044 第一步是执行阴影边缘遮罩提取。 原始图像含有由表面转变和光照转变引起的边 缘， 但是恒定图像仅包含与被捕获表面的基准变化 （不是由阴影引起的） 有关的边缘。因此， 原始图像的边缘被与恒定图像中得到的边缘相比较。阴影边缘被定义为原始图像中的、 但 不在恒定图像中的任何边缘， 仅对应于光照变化。 方向梯度和分别从原始图像 和恒定图像计算出。使用两个阈值 t1和 t2来评价这两个边缘图， 以便确定原始图像具有强 边缘而恒定图像具有弱边缘的。

30、位置。二元阴影边缘如下产生 ： 替代地， 可通过比较各自梯度的范数差来执行阴影边缘遮罩提取。从输入图像确定梯 度范数， 且从光照恒定图像域确定梯度范数。通过从输入图像的梯度范数减去光照恒定图 像域的梯度范数来计算梯度差。梯度差被与阈值作比较， 以确定是否存在阴影边缘。 0045 首先产生的初始阴影边缘遮罩是不完全的， 其中边缘遮罩包含多个伪边缘。 因此， 利用一组形态学运算 （例如， 闭运算和膨胀运算） 来精制阴影边缘， 用以产生最终阴影边缘 遮罩。 0046 第二步是应用减少阴影的图像积分。由于梯度上的阴影边缘对应于变化的光照， 所以通过使用阴影边缘遮罩的阈值处理， 如上所述， 以降低光照效。

31、应， 可以去除原始图像的 梯度中的阴影边缘。结果， 阈值梯度产生了一个通道的灰度表现， 其为减少了阴影的图像。 通过组合所有的 RGB 通道的减少阴影的灰度图像恢复了最终的减少了阴影的全色图像。为 说 明 书 CN 102314601 A CN 102314605 A7/9 页 10 执行该步骤， 使用阈值函数 Ts去除原始图像的梯度中的阴影。 当识别出阴影边缘时， 原始图像中的梯度设定为零， 表示在该点没有光照变化。 在应用 阈值处理之后， 仅在因材料改变存在急剧变化的地方获得梯度。 现在积分所述梯度， 以便恢 复不具有阴影的减少阴影图像 I 。为实现该目的， 泊松方程用作问题的公式表示， 。

32、如下 ： 在方程 （13） 的左侧， 图像的拉普拉斯算子如下表示 ： 在方程 （13） 的右侧， 公式如下表示 ： 因此， 通过齐次诺伊曼边界条件求解泊松方程， 使得边界处的梯度被设定为零。分别 求解出三个颜色通道的每个通道的上述方程， 推导出对于各通道的示例性重新构造的灰度 图像， 但是具有一些未知的乘法常数。将所有 RGB 通道的 I 组合在一起， 产生去除了阴影 的彩色图像。 另外， 为了纠正未知乘法因数和获得更加现实的图像色彩， 对每个像素应用映 射， 以将恢复的图像中的最亮像素 （例如， 按亮度排序的前 5% 的像素的平均值） 映射到原始 图像中的相应像素。 实际上， 在像素被投影到。

33、光照恒定轴线上之后， 每个像素都赋予一个投 影值。 0047 当使用高质量成像装置时， 如上所述的过程成功地去除了阴影。 然而， 考虑到在车 辆中包含高质量成像装置的成本， 更可能的情况是对于目标检测和分类使用低成本产品相 机。 问题是， 由于低成本产品相机引起色度对数线中的发散， 所以低成本产品相机不满足窄 带假定。此外， 由于无法找出恒定方向， 所以不可能确定恒定图像。下面的段落描述了使低 成本产品相机适于提高用于目标检测和分类的阴影去除的性能的过程。 0048 在前面的段落中， 阴影去除方法将不同颜色集的色度对数值投影到线性空间， 以 最小化各种光照条件下每个投影颜色集内的差异。然而， 。

34、如图 5 中所示， 对于低成本产品相 机， 对数 - 对数空间上的值是发散的。捕获的输入图像的每个像素都被绘在两维对数图上。 每个像素表示对数图中的各自的颜色值。该图像示出了五个不同颜色集的色度对数值。每 个颜色值由图上的各自形状所表示。总地如 45-49 所示， 对于每个颜色集产生一个光照方 向。如较早所述的， 对数 - 对数空间上的值是分散的， 不存在与所有光照方向 45-49 正交的 线性光照恒定投影。 0049 图 6 示出了利用非线性核从捕获的输入图像中去除阴影的对数图。该技术通过 使用不同颜色集的色度对数值以观察不同光照条件下各颜色集的线性特性来实施。在这 种条件下， 非线性核 5。

35、0， 例如， 但不限于， 椭圆， 用于将各颜色集的各色调变化从多个光照方 说 明 书 CN 102314601 A CN 102314605 A8/9 页 11 向 51 投射到非线性光照恒定核上。所述非线性光照恒定核 50 可包括任意非线性形状， 其 包括， 但不限于， 椭圆、 圆形或多边形。非线性光照恒定核 50 在各自的交叉点处垂直于各颜 色集的光照方向。各颜色集的光照方向与椭圆 50 交叉的各个位置都产生各自的关注区域 52-57。每个关注区域 52-57 都含有各自颜色集的色调变化的投影值， 其区分和维持各颜色 集的色度， 同时去除施加在各自颜色集上的所有光照影响。 0050 在色度。

36、值被投影到光照恒定轴线上并且在光照恒定图像域中表示出该图像之后， 通过算子， 例如包括、 但不限于苏贝尔算子， 计算光照恒定图像域中的边缘的梯度。 此外， 通 过苏贝尔算子获得输入图像的梯度。 0051 通过从输入图像的梯度范数减去光照恒定图像域的梯度范数计算梯度差图像 （即， 输入图像与光照恒定图像域之间的梯度差） 。梯度差图像被阈值处理以产生阴影边缘 图。对于各梯度差值， 如果各自的值大于预定阈值， 那么其被假定为阴影边缘。在从 RGB 颜 色通道上的输入图像的梯度去除阴影边缘之后， 更新的梯度被从阴影去除重新积分成彩色 图像， 作为减少阴影的图像。结果， 无需使用线性恒定轴线就可容易地获。

37、得阴影边缘。 0052 图 7 为用于从捕获的图像减少阴影的方法。在步骤 60 中， 通过图像捕获装置捕获 车辆外部场景的输入图像。图像捕获装置捕获彩色图像。 0053 在步骤 61 中， 捕获的输入图像的每个像素 被绘在两维对数图上。 0054 在步骤 62 中， 确定非线性光照恒定核。在各种光照条件下， 可利用预先记录的颜 色样本在离线程序中更早地确认所述非线性光照恒定核。 选择的非线性光照恒定核为已经 预先确认为共用于所绘颜色集的核。 也就是说， 对于各自的所确认颜色集， 可确认共用于所 有所确认颜色集的相应核。 0055 在步骤 63 中， 确定各相应颜色集的光照方向。所述光照方向在各。

38、交叉点正交于非 线性光照恒定核。 0056 在步骤 64 中， 将每个所绘像素的色度对数值投射在非线性光照恒定核上。每个颜 色集投射在非线性光照恒定核上的区域表示关注区域。 每个关注区域都包含相应颜色集的 色调变化的投影值， 每个关注区域区分和维持各颜色集的色度， 同时去除施加在相应颜色 集上的所有光照影响。 0057 在步骤 65 中， 利用投射在非线性光照恒定核上的特定颜色集的各所绘像素的投 影值， 提供在光照恒定图像域中的输入图像的表示。投影在非线性光照恒定核上的各颜色 值表示光照恒定图像域中的恒定图像的相应像素。 0058 在步骤 66 中， 通过算子， 包括、 但不限于苏贝尔算子， 。

39、计算光照恒定图像域中边缘 的梯度和输入图像中边缘的梯度。 0059 在步骤 67 中， 在输入图像的梯度和光照恒定图像域的梯度中都识别阴影边缘。可 通过确定原始图像和恒定图像的梯度并然后将各自的梯度与两个相应阈值作比较来识别 阴影边缘。 替代地， 可通过从光照恒定图像域和输入图像中确定梯度范数、 确定两个范数之 间的梯度差、 然后将梯度差与单个阈值作比较来识别阴影边缘。 0060 在步骤 68 中， 对于已经成功识别出的阴影边缘， 原始图像中的梯度被设定为零， 表示在该位置没有光照变化。由于没有因光照变化产生的锐利边缘， 所以该阈值处理步骤 获得了图像中仅仅由于材料变化而急剧变化的地方的梯度。。

40、 0061 在步骤 69 中， 积分各通道 （即， RGB） 的梯度， 用以重新构造各通道的灰度图像。 说 明 书 CN 102314601 A CN 102314605 A9/9 页 12 0062 在步骤 70 中， 组合所有通道， 用以形成阴影被显著地减少或去除的彩色图像。 0063 在步骤 71 中， 产生减少阴影的图像， 用于由基于车辆的视觉系统的场景分析。如 果确定不存在阴影， 那么由基于车辆的视觉系统使用原始输入图像进行场景分析。 0064 尽管已经详细描述了本发明的特定实施例， 但是本发明所属领域的技术人员会认 识到用于实施由所附权利要求限定的本发明的各种替代设计和实施方式。 。

41、说 明 书 CN 102314601 A CN 102314605 A1/6 页 13 图 1 图 2 说 明 书 附 图 CN 102314601 A CN 102314605 A2/6 页 14 图 3 说 明 书 附 图 CN 102314601 A CN 102314605 A3/6 页 15 图 4 说 明 书 附 图 CN 102314601 A CN 102314605 A4/6 页 16 图 5 说 明 书 附 图 CN 102314601 A CN 102314605 A5/6 页 17 图 6 说 明 书 附 图 CN 102314601 A CN 102314605 A6/6 页 18 图 7 说 明 书 附 图 CN 102314601 A 。