1、10申请公布号CN104081763A43申请公布日20141001CN104081763A21申请号201280067356622申请日20120117H04N7/18200601B60R1/00200601G06T7/20200601G08G1/1620060171申请人日本先锋公司地址日本神奈川县72发明人杉江伸一铃木祯司74专利代理机构中原信达知识产权代理有限责任公司11219代理人权太白谢丽娜54发明名称图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质57摘要提供一种能够适当地支援对于从车辆拍摄到的图像中的预定的注意对象物的注意的注意支援图像的重叠显示技术。以将在
2、前方图像中通过图像识别而检测到的注意对象物F的显示区域的中心位置P3和移动显示基准点P2进行连接的线段，生成注意支援图像并显示。该线段图像结果形成为以移动显示基准点P2为中心的大致辐射状的图形。由于在前方图像中显示的任何显示物都随着车辆V的移动而以移动显示基准点P2为中心呈辐射状移动显示，所以线段图像表示注意对象物F的移动轨迹。由此，在通过图像识别而检测到的注意对象物F的中心位置P3在前方图像的最新图像帧中稍微偏离的情况下，也因注意对象物F位于注意支援图像的线段的延长上，而在视觉上容易进行该偏离的插补，用户能够自然且直观地把握注意对象物F。85PCT国际申请进入国家阶段日2014071786P
3、CT国际申请的申请数据PCT/JP2012/0508732012011787PCT国际申请的公布数据WO2013/108371JA2013072551INTCL权利要求书2页说明书15页附图24页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书15页附图24页10申请公布号CN104081763ACN104081763A1/2页21一种图像处理装置，其特征在于，包括生成单元，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及输出单元，输出包括由所述生成单元生成的所述显示目标的
4、前方图像。2如权利要求1所述的图像处理装置，其特征在于，所述生成单元在所述前方图像中利用以所述基准点为中心的大致辐射状的图形生成所述显示目标。3如权利要求1或2所述的图像处理装置，其特征在于，所述前方图像中的所述预定的特征物是地上物或者行人。4如权利要求1至3的任一项所述的图像处理装置，其特征在于，所述生成单元以包括位于以所述基准点为始点并通过所述预定的特征物的半直线上的线段的方式生成所述显示目标。5如权利要求1至3的任一项所述的图像处理装置，其特征在于，所述生成单元以包括分别以所述基准点为始点并包络所述预定的特征物的显示区域的两条线段的方式生成所述显示目标。6如权利要求1至5的任一项所述的图
5、像处理装置，其特征在于，所述生成单元以包括在以所述基准点为始点并通过所述预定的特征物的半直线上从所述基准点沿着辐射方向移动的移动目标的方式生成所述显示目标。7如权利要求1至6的任一项所述的图像处理装置，其特征在于，所述生成单元以在从所述基准点至所述预定的特征物为止的区间与从该预定的特征物至外周侧的区间中使所述显示目标的显示方式不同的方式生成。8如权利要求1至6的任一项所述的图像处理装置，其特征在于，所述前方图像是作为动画形式按时间序列拍摄到的多个图像帧，所述生成单元以包括将所述检测单元对同一个所述预定的特征物在过去的图像帧和最新的图像帧中分别检测到的两个所述预定的特征物的位置进行连接的线段的方
6、式生成所述显示目标。9如权利要求1至8的任一项所述的图像处理装置，其特征在于，还包括摄像单元，搭载于所述移动体上，将拍摄到的所述前方图像提供给所述生成单元；以及显示单元，对所述输出单元输出的包括所述显示目标的前方图像进行显示。10一种图像处理装置，其特征在于，包括摄像单元，搭载于行驶的移动体上，获取所述移动体的前方图像；生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；输出单元，输出由所述生成单元生成的所述显示目标；以及平视显示器，在驾驶者驾驶时的视野内放映出所述输出单元输出的所述显示目标。11如权利要求1至10的任一项
7、所述的图像处理装置，其特征在于，所述生成单元能够将在所述前方图像中存在的特征物中用户任意地指定的特征物设定为所述预定的特征物。权利要求书CN104081763A2/2页312一种图像处理服务器，其特征在于，包括接收单元，从外部的图像处理装置接收从行驶的移动体拍摄到的前方图像；生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；以及发送单元，将由所述生成单元生成的所述显示目标发送到所述外部的图像处理装置。13一种图像处理装置，其特征在于，包括摄像单元，搭载于行驶的移动体上，拍摄前方图像；通信单元，与权利要求12所述的图像处理
8、服务器进行所述前方图像的收发；以及显示单元，对包括所述通信单元从所述图像处理服务器接收到的所述显示目标的前方图像进行显示。14一种图像处理装置执行的图像处理方法，其特征在于，执行如下步骤生成步骤，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及输出步骤，输出包括由所述生成单元生成的所述显示目标的前方图像。15一种图像处理程序，其特征在于，使图像处理装置执行权利要求14所述的图像处理方法。16一种记录介质，其特征在于，以能够由所述图像处理装置读取的方式存储有权利要求15所述的图像处理程序。权利要
9、求书CN104081763A1/15页4图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质技术领域0001本发明涉及对移动体的前方图像中的预定显示物重叠指示其位置的图像的图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质。背景技术0002近年来，提出了如下技术通过搭载于移动体上的相机来拍摄周围的图像，使指示在该图像中显示的多个显示物中应尤其促使用户注意的对象物的图形等重叠显示在该图像上，进行其注意的支援。0003例如，在专利文献1中记载的技术中，在图像数据中通过图像识别等而检测到预定的特征部位时，将包围该特征部位的框形状的记号重叠显示在图像上。0004现有技
10、术文献0005专利文献0006专利文献1JP特开2004320286号公报发明内容0007发明要解决的课题0008但是，在通过搭载于正在行驶中的移动体上的相机以动画形式拍摄了周围的图像的情况下，通过该移动体的移动，图像中的显示物如流动那样移动。在对这样的动画形式的图像通过上述现有技术而在作为图像中的特征部位的显示物上重叠显示了框状记号的情况下，由于对该显示物进行图像识别的处理、应重叠显示的框记号的位置或大小的计算以及描绘的处理要花费时间，所以会导致框记号偏离对象的显示物地重叠显示，导致用户难以识别图像中的注意对象物。因此，期望能够适当地支援用户对于从移动体拍摄到的图像中的预定的注意对象物的识别
11、的支援图像的重叠显示技术。0009在本发明要解决的课题中，作为一例而举出上述问题。0010用于解决课题的手段0011为了解决上述课题，技术方案1所述的发明是一种图像处理装置，包括生成单元，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及输出单元，输出包括由所述生成单元生成的所述显示目标的前方图像。0012为了解决上述课题，技术方案10所述的发明是一种图像处理装置，包括摄像单元，搭载于行驶的移动体上，获取所述移动体的前方图像；生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表
12、示所述基准点与预定的特征物的相对的位置关系的显示目标；输出单元，输出由所述生成单元生成的所述显示目标；以及平视显示器，在驾驶者驾驶时的视野内放映出所述输出单元输出的所述显示目标。0013为了解决上述课题，技术方案12所述的发明是一种图像处理服务器，包括接收说明书CN104081763A2/15页5单元，从外部的图像处理装置接收从行驶的移动体拍摄到的前方图像；生成单元，以所述前方图像中的消失点或者该消失点附近的点为基准点，生成表示所述基准点与预定的特征物的相对的位置关系的显示目标；以及发送单元，将由所述生成单元生成的所述显示目标发送到所述外部的图像处理装置。0014为了解决上述课题，技术方案13
13、所述的发明是一种图像处理装置，包括摄像单元，搭载于行驶的移动体上，拍摄前方图像；通信单元，与技术方案12所述的图像处理服务器进行所述前方图像的收发；以及显示单元，对包括所述通信单元从所述图像处理服务器接收到的所述显示目标的前方图像进行显示。0015为了解决上述课题，技术方案14所述的发明是一种图像处理装置执行的图像处理方法，执行如下步骤生成步骤，以从行驶的移动体拍摄到的前方图像的消失点或者该消失点附近的点为基准点，生成表示所述基准点与所述前方图像中的预定的特征物的相对的位置关系的显示目标；以及输出步骤，输出包括由所述生成单元生成的所述显示目标的前方图像。0016为了解决上述课题，技术方案15所
14、述的发明是一种图像处理程序，使图像处理装置执行技术方案14所述的图像处理方法。0017为了解决上述课题，技术方案16所述的发明是一种记录介质，以能够由所述图像处理装置读取的方式存储有技术方案15所述的图像处理程序。附图说明0018图1是表示搭载了包括本发明的图像处理装置的实施方式的驾驶支援装置的车辆的结构例的立体图。0019图2是表示驾驶支援装置的硬件结构例的框图。0020图3是表示从驾驶室看的车窗风景以及对应于此的显示器的显示的一例的图。0021图4是表示将图3所示的姿势状态的前置相机拍摄到的前方图像显示在显示器上的情况下的显示例的图。0022图5是表示在生成、显示了作为比较现有例的注意支援
15、图像的框形状记号的情况下的显示例的图。0023图6是表示在生成、显示了实施方式的注意支援图像的情况下的显示例的图。0024图7表示将图3所示的姿势状态的前置相机1拍摄到的前方图像显示在显示器3上的情况下的显示例。0025图8是表示将拍到车线轮廓线、车线消失点以及平均消失点的前方图像显示在显示器上的情况下的显示例的图。0026图9是表示成像单元的CPU执行的控制内容的流程图。0027图10是表示以半直线图像生成、显示了注意支援图像的情况下的显示例的图。0028图11是表示在半直线图像的注意支援图像中在中心位置的前后改变了显示方式的情况下的显示例的图。0029图12是表示以比注意对象物的显示区域稍
16、微长的线段图像重复地生成、显示了注意支援图像的情况下的显示例的图。0030图13是表示在由包络注意对象物的显示区域的两条线段图像生成、显示了注意说明书CN104081763A3/15页6支援图像的情况下的显示例的图。0031图14是表示在将作为注意支援图像的两条线段图像之间的区域在中心位置的前后改变了显示方式的情况下的显示例的图。0032图15是表示在以从移动显示基准点至注意对象物为止沿着辐射方向移动的移动目标生成、显示了注意支援图像的情况下的显示例的图。0033图16是表示在以使框形状记号呈辐射状地扁平的椭圆形生成、显示了注意支援图像的情况下的显示例的图。0034图17是表示以将在过去和最新
17、的图像帧中分别检测到的两个中心位置进行连接的线段图像生成、显示了注意支援图像的情况下的显示例的图。0035图18是表示将大致辐射状的图形和框形状记号进行组合而生成、显示了注意支援图像的情况下的显示例的图。0036图19是表示搭载了服务器型的驾驶支援装置的车辆和网络的结构例的立体图的一例。0037图20是表示搭载了利用了电子便携终端的方式的图像处理装置的车辆的结构例的立体图的一例。0038图21是表示在具有平视显示器投影机和组合器的情况下的驾驶支援装置的系统结构的一例的框图。0039图22是表示从车辆的车内看的车窗风景以及对应于此的平视显示器的显示的一例的图。0040图23是从侧方看平视显示器对
18、于组合器的投影显示的方式的示意图。0041图24是表示在各方式中的各构成设备之间的硬件构成元素的分担的组合例的图。0042图25是表示在各方式中的各构成设备之间的软件处理内容的分担的组合例的图。具体实施方式0043以下，参照附图说明本发明的实施方式中的一个实施方式。0044图1是表示搭载了包括本发明的图像处理装置的实施方式的驾驶支援装置的车辆的结构例的立体图。在该图1中，驾驶支援装置S在室内镜101的前方侧位置设置单独的前置相机1，上述室内镜101设置于作为移动体的车辆V的车内顶棚。前置相机1的拍摄方向DC被安装成能够拍摄该车辆V的前进方向的前方的姿势。另外，在该例中，前置相机1通过经由例如万
19、向接头的安装装置而安装到车辆V，其拍摄方向DC在偏航方向水平方向和俯仰方向垂直方向的各个方向的预定范围中通过手动而可动。该前置相机1在其姿势的可动范围内，使贯通该车辆V的中央前后方向的车辆轴的方向DV不会脱离拍摄范围。0045图2是表示驾驶支援装置S的硬件结构例的框图。在该图2中，驾驶支援装置S具有前置相机1、成像单元2、显示器3、GPS13、车速传感器14。0046前置相机1相当于摄像单元，具有例如利用CCD摄像元件等而拍摄上述的该车辆的前进方向的前方图像并将对应的信号输出到成像单元2的CPU后述的功能。另外，在说明书CN104081763A4/15页7本实施方式的例中，通过该前置相机1以充
20、分短的时间周期按时间序列持续拍摄多个图像帧，从而以动画的形式拍摄前方图像。0047显示器3相当于显示单元，例如由LCD面板等构成，具有基于从成像单元2的图形控制器后述输入的图像信号显示在由上述前置相机1拍摄到的前方图像上重叠了后述的注意支援图像而成的合成图像的功能。0048GPS13具有如下功能进行车辆V的当前地的测位并获取当前位置信息，且基于预先存储的地图信息而进行预定的注意对象物后面详细叙述的位置检测。0049车速传感器14具有检测该车辆V的行驶速度的功能。成像单元2具有的后述的CPU能够基于该车速传感器14的检测信号，识别该车辆V是否为停止中的状态、或者在以什么样的行驶速度行驶。0050
21、成像单元2相当于图像处理装置，具有CPU11、存储装置12、图形控制器15。0051CPU11具有以下功能根据预定的程序的动作而进行各种运算，且在与其他的各部之间进行信息的交换或输出各种控制指示，从而控制驾驶支援装置S整体。0052存储装置12具有ROM12A、RAM12B以及存储介质12C。ROM12A是预先写入了各种处理程序、其他需要的信息的信息存储介质。RAM12B是在执行上述各种程序时进行需要的信息的写入以及读出的信息存储介质。存储介质12C是例如闪速存储器、硬盘等非易失性的信息存储介质。0053图形控制器15具有以下功能通过CPU11的控制而从视频RAM未图示以及上述GPS13等获取
22、图像数据，并使上述显示器3显示基于该图像数据的图像信号的功能。另外，如上所述，本实施方式的例中的该图形控制器15将基于在由上述前置相机1拍摄到的前方图像上重叠了后述的注意支援图像而成的合成图像数据的图像信号输出到显示器3。此外，在本实施方式的例中，该图形控制器15与上述前置相机1以动画形式拍摄前方图像时的时间周期无关地在任意的时机使图像信号显示到显示器3。0054图3是表示从驾驶室看的车窗风景以及对应于此的显示器3的显示的一例的图。在图示的例中，表示该车辆V行驶大致直线的行驶车线并跟随位于其行驶方向前方的前方车辆VF的状态。在室内镜101的背侧前进方向侧设置的前置相机1拍摄包括上述直线的行驶车
23、线和前方车辆VF的前方图像。此时，如上所述，前置相机1的拍摄范围包括该车辆V的车辆轴方向DV而使其不会脱离。并且，显示器3显示前置相机1拍摄到的前方图像。0055这里，如上所述，由于前置相机1的安装姿势为可动，所以如图示的例那样，有时其拍摄方向DC成为不与车辆轴方向DV平行的姿势关系。在用户将前置相机1安装到任意的位置的情况下或通过手动作业而安装的情况下等也可能产生这样的偏离。因此，在本实施方式中，考虑这样的前置相机1的拍摄方向DC与车辆轴方向DV之间的偏离的同时，进行能够适当地支援在动画形式的前方图像中移动显示的预定的注意对象物的识别的注意支援图像的生成和显示。以下，依次说明这样的注意支援图
24、像的生成方法以及显示例。0056首先，图4表示将上述图3所示的姿势状态的前置相机1拍摄到的前方图像显示在显示器3上的情况下的显示例。另外，在图示的例中，在显示器3的显示区域中设定的显示坐标XY的整体中显示前方图像，即显示坐标XY与前方图像的图像坐标一致。在该图4中，在前方图像中，除了上述前方车辆VF以外，作为显示物还显示有邮筒51、两个道路标说明书CN104081763A5/15页8志52、53、两个信号灯54、55、看板56以及行人57。0057此外，如上所述，前置相机1由于在其姿势的可动范围内该车辆V的车辆轴方向DV不会脱离摄像范围，所以在前方图像的显示坐标XY中必定存在移动显示基准点P2
25、。该移动显示基准点P2是指，在前方图像中相当于该车辆V在该时刻的前进方向的无限远方移动位置在该时刻显示的前方图像中的显示坐标XY中，该车辆V按原来的前进方向移动时到达的预定位置的点，该点始终位于该时刻的大致地平线大致水平线在图4中未特别图示与车辆轴方向DV的大致延长线的交点上，将其称为消失点。另外，该移动显示基准点P2相当于各权利要求中记载的基准点。0058并且，随着该车辆V朝向车辆轴方向DV移动，上述的前方图像中的全部显示物以上述移动显示基准点P2为中心呈辐射状移动。即，前方图像中的全部显示物在从该车辆V向远方远去时，都位于移动显示基准点P2的附近。并且，随着该车辆V朝向移动显示基准点P2移
26、动，在动画形式的前方图像中，各显示物被显示为沿着以移动显示基准点P2为中心呈大致辐射状配置的半直线上参照图中的虚线箭头移动。0059以下，考虑将上述的邮筒51设定为注意对象物F的情况。注意对象物F是指，应促使作为该车辆V的驾驶者或同乘者的用户注意在从前方图像中显示的多个显示物中尤其不能看漏的显示物。这里，作为一例，将邮筒51设为注意对象物F，但并不限定于此。在其他的例中，也可以是道路标志、信号灯、看板等地上物或行人等相比于车辆的速度以充分低的速度移动的物体。另外，注意对象物F相当于在各权利要求中记载的预定的特征物。特征物具有能够通过图像识别而检测的特征部位。成像单元2通过对该特征部位进行图像识
27、别而从前方图像中检测注意对象物F。作为该注意对象物F的设定方法，可以预先设定邮筒或道路标志等预定的种类的特征物，也可以基于GPS13存储的地图信息而预先指定在之后要通过的预定的道路附近设置的特征物来设定，或者，也可以是用户将前方图像中的特征物通过在显示器3中设置的触摸面板未特别图示上的直接接触或通过光标等指标而直接指定，从而将与所指定的特征物同种的特征物设定为注意对象物F。0060考虑以下情况为了促使在前方图像中注意这样被设定为注意对象物F的邮筒51，生成图5所示的框形状的记号61作为注意支援图像，并以包围该邮筒51的显示区域的方式重叠显示。但是，此时，成像单元2的CPU11必须进行以下处理在
28、前方图像的显示坐标XY中通过图像识别而检测邮筒51的显示区域和其存在位置，且配合该显示区域的大小而计算框形状记号61的大小并进行描绘。这些处理的计算量都多，尤其图像识别中花费的处理时间长。因此，在以动画形式显示前方图像的情况下，会赶不上其帧周期，而如图5所示那样即使重叠显示了框形状的记号61，对应的邮筒51也从框形状大幅脱离，难以引起用户的注意。0061因此，在本实施方式中，将注意支援图像生成、显示为以几何学方式表示上述移动显示基准点P2与注意对象物F的存在位置的相对的位置关系。具体而言，在本实施方式的例中，如图6所示，将在前方图像中通过图像识别而检测到的邮筒51的显示区域的中心位置P3设为存
29、在位置，以连接上述移动显示基准点P2和该中心位置P3的线段G1来生成、显示注意支援图像。并且，这样生成、显示的注意支援图像的线段G1结果形成为以移动显示基准点P2为中心的大致辐射状的图形。另外，该注意支援图像相当于在各权利要求中记载的显示目标。说明书CN104081763A6/15页90062如上所述，在动画形式的前方图像中显示的任何显示物都随着该车辆V的移动而以移动显示基准点P2为中心呈辐射状移动显示。即，作为上述的注意支援图像而生成、显示的线段图像G1表示作为注意对象物F的邮筒51在前方图像中的移动轨迹。因此，在通过图像识别而检测到的邮筒51的中心位置P3稍微偏离了前方图像的最新图像帧中的
30、中心位置的情况下，由于邮筒51位于注意支援图像的线段G1的延长线上，所以在视觉上容易进行该偏离的插补，用户能够自然且直观地识别邮筒51。这在将相比于车辆V的移动速度充分慢的行人等设为注意对象物F时，也能够获得相同的效果。0063这里，前方图像的显示坐标XY中的上述移动显示基准点P2的位置在大多数情况下偏离显示坐标XY的中央位置，且根据该时刻的前置相机1的拍摄方向DC朝向哪个方向而不同。在本实施方式中，通过以下说明的平均消失点的计算，获取在显示坐标XY中的移动显示基准点P2的位置。0064首先，图7表示将上述图3所示的姿势状态的前置相机1拍摄到的前方图像显示在显示器3上的情况下的显示例。另外，为
31、了避免图示的繁杂，只将前方车辆VF显示为显示物。在该图7中，在如上所述的前置相机1的拍摄方向DC与车辆轴方向DV之间存在偏离的情况下，显示器3的显示坐标XY的中央位置、即图中的纵方向、横方向各自的中心线LV、LL的交点位置偏离车辆轴方向DV。此时，前方图像破坏相对于中心线LL的左右方向的对称性，例如即使车辆V实际在直线状的行驶车线上行驶，夹着该行驶车线在左侧和右侧分别显示的显示物之间在前方图像中的移动的方向和速度关于行驶车线也会成为非对称。0065相对于此，如图示的例那样，在直线状的行驶车线上行驶时拍摄到的前方图像中，相当于行驶车线的无限远方点的车线消失点P1始终位于该时刻的大致地平线大致水平
32、线与车辆轴方向DV的大致延长线的交点上。即，这样在直线状的行驶车线上行驶时的车线消失点P1的位置与上述移动显示基准点P2的位置一致。0066作为检测上述车线消失点P1的方法，首先，如图示那样，通过前方图像的图像分析而检测在实际的行驶车线的两侧涂抹的白线、路面与路缘石的边界线、或柏油道路的边缘部等，识别为形成该行驶车线的轮廓的两条车线轮廓线LR。并且，这两条车线轮廓线LR的车辆前进方向的延长线上的交点被检测为前方图像上的上述车线消失点P1。0067这里，例如图8所示，在行驶车线为曲线状的情况下，上述两条车线轮廓线LR也配合前方图像上的该曲线的方向和曲率而被识别。另外，虽然未特别图示，但在该曲线的
33、曲率在中途变化的情况下，优先该车辆V的跟前侧的曲率而识别两条车线轮廓线LR。并且，以基于跟前侧的曲率的近似式来计算曲线的延长线，它们的交点位置被检测为车线消失点P1。0068在该车辆V长时间行驶多样的形状的行驶车线、多次检测并记录了上述车线消失点P1的情况下，位于这些车线消失点P1的平均位置的平均消失点P2统计上在地平线上与车辆轴方向DV的延长线接近。即，显示坐标XY上的平均消失点P2的位置被视为与该时刻的前置相机1的拍摄方向DC对应的上述移动显示基准点P2的固定位置。这样在本实施方式中，作为生成适当的注意支援图像之前的准备作业，车辆V在多样的形状的行驶车线上行驶而检测充分多的车线消失点P1，
34、基于这些车线消失点P1而计算具有可靠性的平均消失点P2。然后，获取该计算出的平均消失点P2作为与该时刻的前置相机1的拍摄方向DC对应的显示坐标XY上的移动显示基准点P2。0069图9是表示为了实现以上说明的动作方式，成像单元2的CPU11执行的控制内容说明书CN104081763A7/15页10的流程图。另外，在前置相机1以动画的方式拍摄前方图像的期间，例如以适当的时间间隔调用而执行该流程。0070在图9中，首先，在步骤S5中，基于车速传感器14的检测信号，判定该车辆V是否以预定速度以上行驶。在该车辆V以预定速度以上行驶的情况下，满足判定，转移到步骤S10。0071在步骤S10中，获取在该时刻
35、前置相机1拍摄到的前方图像静止图像帧。0072转移到步骤S15，判定在上一次设定前置相机1的拍摄方向DC之后是否将与此对应的显示坐标XY上的平均消失点P2已经获取完毕。在还未能获取与该时刻的拍摄方向DC对应的平均消失点P2的情况下，不能满足判定，转移到步骤S20。0073在步骤S20中，判定是否从上一次的车线消失点P1的检测经过了预定时间。在没有经过预定时间的情况下，不能满足判定，返回到步骤S5而重复同样的过程。通过这样空出检测车线消失点P1的时间间隔，确保要检测的车线消失点P1的多样性，能够提高要检测的平均消失点P2的可靠性。0074另一方面，在经过了预定时间的情况下，满足判定，转移到步骤S
36、25。0075在步骤S25中，在上述步骤S10中拍摄到的前方图像中，识别当前的行驶车线中的两条车线轮廓线LR。0076转移到步骤S30，基于在上述步骤S25中识别到的两条车线轮廓线LR，检测在当前的行驶车线中的车线消失点P1。0077转移到步骤S35，将在上述步骤S30中检测到的车线消失点P1以存储到存储介质12C的方式追加记录。0078转移到步骤S40，判定在该时刻是否已经以能够检测可靠性高的平均消失点P2的充分的数目来检测、存储车线消失点P1。在直到该时刻为止检测数还不充分的情况下，不能满足判定，返回到步骤S5，重复同样的过程。0079另一方面，在该时刻已经以能够检测可靠性高的平均消失点P
37、2的充分的数目来检测、存储车线消失点P1的情况下，满足判定，转移到步骤S45。0080在步骤S45中，读出在存储介质12C中记录的全部车线消失点P1。0081转移到步骤S50，计算位于在上述步骤S45中读出的全部车线消失点P1的平均位置的平均消失点P2。并且，返回到步骤S5，重复同样的过程。0082另一方面，在上述步骤S15的判定中，已经获取了与该时刻的拍摄方向DC对应的平均消失点P2的情况下，满足判定，转移到步骤S55。0083在步骤S55中，判定是否设定了注意对象物F。另外，注意对象物F也可以预先设定，或者由用户设定。此外，在有基于地图信息的注意对象物F的设定的情况下，也可以一并判定是否接
38、近显示在前方图像上的程度的近的位置。在没有设定任何注意对象物F的情况下，或者尽管已基于地图信息设定但尚未接近到显示在前方图像的程度的情况下，不能满足判定，返回到步骤S5，重复同样的过程。0084另一方面，在注意对象物F设定完毕且需要使注意支援图像显示在前方图像上的情况下，满足判定，转移到步骤S60。0085在步骤S60中，在上述步骤S10中获取的前方图像中，通过图像识别而识别注意对象物F，将该显示区域的中心位置P3检测为该注意对象物F的存在位置。另外，该步骤S60说明书CN104081763A108/15页11的过程相当于在各权利要求中记载的生成单元以及生成步骤。0086转移到步骤S65，生成
39、在显示坐标XY上连接平均消失点P2至注意对象物F的中心位置P3的线段G1的图像作为注意支援图像。另外，该步骤S65的过程也相当于在各权利要求中记载的生成单元以及生成步骤。0087转移到步骤S70，将在上述步骤S65中生成的注意支援图像的线段G1以重叠显示到前方图像上的方式输出到显示器3。并且，返回到步骤S5，重复同样的过程。另外，该步骤S70的过程相当于在各权利要求中记载的输出单元以及输出步骤。0088如以上所说明，在上述实施方式的成像单元2中包括步骤S60、S65的过程相当于生成单元，生成表示从行驶的车辆V相当于移动体拍摄到的前方图像的平均消失点P2相当于消失点或者位于其附近的移动显示基准点
40、P2相当于基准点与所述前方图像中的预定的注意对象物F相当于预定的特征物的相对的位置关系的作为注意支援图像相当于显示目标的线段图像G1；以及步骤S70的过程相当于输出单元，输出包括通过所述步骤S60、S65的过程而生成的所述注意支援图像的前方图像。0089此外，在上述实施方式的成像单元2执行的图像处理方法中执行步骤S60、S65的过程相当于生成步骤，生成表示从行驶的车辆V相当于移动体拍摄到的前方图像的平均消失点P2相当于消失点或者位于其附近的移动显示基准点P2相当于基准点与所述前方图像中的预定的注意对象物F相当于预定的特征物的相对的位置关系的作为注意支援图像相当于显示目标的线段图像G1；以及输出
41、步骤，输出包括通过所述步骤S60、S65的过程而生成的所述注意支援图像的前方图像。0090这样，随着车辆V在该时刻向前进方向的移动，前方图像中的全部显示物从移动显示基准点P2或者其附近向该前方图像的外周侧移动显示。并且，表示移动显示基准点P2与注意对象物F的中心位置P3的相对的位置关系的注意支援图像G1成为概略性地表示该注意对象物F在前方图像中的移动方向的图像。因此，即使通过处理时间花费比较长的图像识别而检测到的注意对象物F的中心位置P3稍微偏离了最新的图像帧中的同一个注意对象物F的中心位置的情况下，用户也能够通过参照注意支援图像G1而直观地把握前方图像中的注意对象物F的位置。其结果，能够进行
42、可适当地支援对于从车辆V拍摄到的图像中的预定的注意对象物F的注意的注意支援图像的重叠显示。0091除了上述的结构之外，也可以进一步在步骤S65的过程中，在所述前方图像中，以将所述移动显示基准点P2为中心的大致辐射状的图形，生成所述注意支援图像G1。0092这样，以大致辐射状的图形生成的注意支援图像G1与注意对象物F在前方图像中的移动轨迹基本重复。因此，在通过图像识别而检测到的注意对象物F的中心位置P3稍微偏离了前方图像的最新图像帧中的同一个注意对象物F的中心位置的情况下，由于注意对象物F位于注意支援图像G1的延长上，所以在视觉上容易进行该偏离的插补，用户能够自然且直观地把握注意对象物F。009
43、3除了上述的结构之外，还执行步骤S25的过程，在所述前方图像中，识别位于所述车辆V行驶的行驶车线的左右两侧而形成该行驶车线的轮廓的两条车线轮廓线LR；步骤S30的过程，检测所述两条车线轮廓线LR各自的所述前进方向的延长线上的交点作为车线消失点P1；以及步骤S50的过程，计算位于过去在所述步骤S30的过程中检测到的多个所述车线消失点P1各自的平均位置的平均消失点P2，并将其设为在所述步骤S65的过程中使说明书CN104081763A119/15页12用的所述移动显示基准点P2。0094若通过以上的方法来计算平均消失点P2，则即使是在前置相机1的拍摄方向DC朝向任意的方向的状态下，也能够高精度地确
44、定消失点并设为移动显示基准点P2。因此，如图6所示连接邮筒51的显示区域的中心位置P3和移动显示基准点P2的线段G1的朝向不变，邮筒51准确地位于注意支援图像的线段G1的延长上，所以能够最大地获得用户能够自然且直观地识别邮筒51的效果。0095在上述的结构中，将从所述前方图像获得的平均消失点P2设为所述移动显示基准点P2，但也可以通过其他的方法来设定移动显示基准点P2。例如，也可以通过其他的方法来计算消失点，在前置相机1的拍摄方向DC被基本准确地设置的情况下，也可以将前方图像的中心点设为移动显示基准点P2。无论在哪种方法中，只要能够将准确的消失点的附近设定为移动显示基准点P2，则连接邮筒51的
45、显示区域的中心位置P3和移动显示基准点P2的线段G1的朝向基本不变，邮筒51位于注意支援图像的线段G1的延长上，所以能够获得用户能够自然且直观地识别邮筒51的效果。0096除了上述的结构之外，所述前方图像中的所述预定的注意对象物F是地上物或者行人。0097这样，由于地上物相对于地面静止、此外行人相比于该车辆V的速度以充分低的速度移动，所以他们与该车辆V之间的相对速度能够视为基本与该车辆V的车辆速度相等。由此，最新的图像帧中的同一个注意对象物F的中心位置不会大幅偏离注意支援图像G1表示的这些注意对象物F在前方图像中的移动方向。其结果，能够确保用于直观地把握前方图像中的注意对象物F的位置的注意支援
46、图像G1的可靠性。0098除了上述的结构之外，步骤S65的过程也可以以包括位于以所述平均消失点P2为始点并通过注意对象物F的中心位置P3的半直线上的线段的方式，生成所述注意支援图像。0099这样，作为注意支援图像而生成的线段图像G1与注意对象物F在前方图像中的过去的移动轨迹上或者将来的移动轨迹上基本重叠一致。因此，即使在通过图像识别而检测到的注意对象物F的中心位置P3稍微偏离了前方图像的最新图像帧中的同一个注意对象物F的中心位置的情况下，注意支援图像的线段图像G1与最新图像帧中的注意对象物F重复的可能性也很高。此外，即使在不重复的情况下，由于注意对象物F位于线段图像的延长上，所以在视觉上容易进
47、行该偏离的插补，用户能够自然且直观地把握注意对象物F。此外，由于以线段图像G1来支援注意，所以能够在比较窄的范围中明确地确定并表示要注意的方向、区域。0100此外，作为比较现有例的注意支援图像，在上述图5所示的框形状记号61中，前方图像的图像帧切换，注意对象物F在显示坐标XY上移动显示，从而随之需要以追随该注意对象物F的方式改变位置而再描绘该框形状记号61的整体。但是，在上述实施方式中，如图6所示那样以连接移动显示基准点P2和注意对象物F的中心位置P3的线段图像G1来生成、显示注意支援图像的情况下，即使注意对象物F在显示坐标XY上移动，也只要配合该移动而以延长线段图像G1的辐射方向的前端部分的
48、方式追加描绘即可。此时，除了由于不需要再描绘线段图像G1的整体而能够减轻描绘处理的负担之外，由于只要能够以适当的长度来延长前端部分就不需要重复基于图像识别的注意对象物F的中心位置P3的检测，说明书CN104081763A1210/15页13所以注意支援图像G1的生成处理的负担也能够大幅减轻，能够将整体的处理高速化。0101除了上述的结构之外，也可以进一步具有搭载于所述车辆V上且以能够在所述步骤S60、S65的过程中利用的方式提供拍摄到的所述前方图像的前置相机1相当于摄像单元；以及显示包括在所述步骤S70的过程中输出的所述注意支援图像G1的所述前方图像的显示器3相当于显示单元。0102这样，能够
49、将前方图像的拍摄直到重叠了注意支援图像G1的前方图像的显示，由驾驶支援装置S一体地单独进行。0103除了上述的结构之外，所述步骤S60、S65的过程也可以进一步将在所述前方图像中存在的显示物中用户任意地指定的显示物设定为所述注意对象物F。0104这样，由于能够将用户在前方图像上通过在显示器3中设置的触摸面板未特别图示上的直接接触或通过光标等指标而直接指定的显示物设定为注意对象物，所以能够进行注意对象物F的实时的设定，便利性提高。0105另外，在上述实施方式中，上述图6所示那样利用连接移动显示基准点P2至注意对象物F的显示区域的中心位置P3的线段图像G1来生成、显示了注意支援图像，但本发明并不限
50、定于此。例如，如图10所示，也可以利用以移动显示基准点P2为始点并通过注意对象物F图示的例的邮筒51的显示区域的中心位置P3的半直线的图像G2来生成、显示注意支援图像。此时，注意支援图像的半直线图像G2结果也成为以移动显示基准点P2为中心的大致辐射状的图形，进一步，该半直线图像G2的整体表示注意对象物F的过去以及将来的移动轨迹整体而必定与注意对象物F的显示区域重复。因此，能够比在上述实施方式中的线段图像G1更可靠地促使用户注意注意对象物F。0106此外，也可以生成、显示为在上述半直线图像G2中从移动显示基准点P2至注意对象物F的中心位置P3的区间与从该中心位置P3至外周侧的区间中使显示方式不同
个人主页