车辆周边显示装置的制造方法
车辆周边显示装置的制造方法
【技术领域】
[0001]本发明涉及将拍摄车辆周边得到的图像呈现给用户、并根据从该图像判断出的碰撞可能性来控制车辆的车辆周边显示装置。
【背景技术】
[0002]例如，专利文献I公开了一种基于方向盘转向角和变速杆位置信息来改变呈现给驾驶员的车载摄像机图像的大小或视点的车载装置。
此外，专利文献2公开了一种基于方向盘转向角等车辆信息并根据车载摄像机图像生成全景图像并呈现给驾驶员的车载摄像机系统。
通过如上述那样利用全景图像来呈现车辆周边，从而使得例如驾驶员能确认左右转方向，能避免发生事故。
现有技术文献专利文献
[0003]专利文献I
日本专利特开2005-198160号公报专利文献2
日本专利特开2001-55100号公报
【发明内容】
发明所要解决的技术问题
[0004]在以专利文献1、2为代表的现有技术中，仅在画面上显示车辆周边的图像，而根据图像判断事故危险性的任务则交给了驾驶员。即，由于驾驶员基于车辆周边图像得到的危险性的判断结果不同，因此存在驾驶操作可能会随之产生延迟的问题。
[0005]本发明为了解决上述问题而完成，其目的在于获得一种车辆周边显示装置，能促使驾驶员注意到车外物体来进行驾驶，而且即使驾驶员的驾驶操作有延迟，也能自动进行避免与车外物体碰撞的车辆控制。
解决技术问题所采用的技术方案
[0006]本发明的车辆周边显示装置将拍摄车辆周边得到的图像显示在显示部中，其包括:车辆控制信息获取部，该车辆控制信息获取部获取表示车辆驾驶状态的车辆控制信息；全景生成部，该全景生成部将多个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成全景图像；信息处理部，该信息处理部基于车辆控制信息所表示的车辆的驾驶状态，从全景图像中判断出要显示的图像区域，并对该图像区域中拍摄到的车外物体与车辆的碰撞可能性进行判定；显示图像生成部，该显示图像生成部生成包含信息处理部所判断出的图像区域在内的显示图像，并将该显示图像显示在显示部中；以及车辆控制部，该车辆控制部根据信息处理部对碰撞可能性的判定结果来控制车辆，以避免车辆与车外物体发生碰撞O 发明效果
[0007]根据本发明，具有如下效果:能帮助驾驶员意识到车外物体来进行驾驶，并且即使驾驶员的驾驶操作有延时，也能自动进行避免与车外物体发生碰撞的车辆控制。
【附图说明】
[0008]图1是表示本发明的实施方式I所涉及的车辆周边显示装置的结构的框图。
图2是表示实施方式I所涉及的车辆周边显示装置的动作的流程图。
图3是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(左转时)的图。
图4是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(后退时)的图。
图5是表示本发明的实施方式2所涉及的车辆周边显示装置的结构的框图。
图6是表示实施方式2所涉及的车辆周边显示装置的动作的流程图。
图7是表示本发明的实施方式3所涉及的车辆周边显示装置的结构的框图。
图8是表示实施方式3所涉及的车辆周边显示装置的动作的流程图。
图9是表示根据车辆的行驶状态对图像区域的尺寸进行变更的处理的一个示例的图。 图10是表示本发明的实施方式4所涉及的车辆周边显示装置的结构的框图。
图11是表示从全景图像中提取通过手持设备指定的图像区域并利用该手持设备进行显示的处理的流程图。
【具体实施方式】
[0009]下面，为了更详细地说明本发明，根据附图，对用于实施本发明的方式进行说明。 实施方式1.本发明的车辆周边显示装置中，首先，在考虑车辆前进方向的情况下，从对多个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成而构成的全景图像中，提取并提供对驾驶员而言各个时刻的驾驶所需的车辆周边图像。
尤其是在汽车中，驾驶员的死角较多，处于该死角的行人或车辆等车外物体与本车辆的碰擦事故是导致车辆事故的主要原因。
为此，本发明中，从车辆周边的全景图像中，根据本车辆的前进方向来判断可能会成为驾驶员死角的视野方向的车辆周边图像。然后，判定该图像中的车外物体与本车辆的碰撞可能性，并以和碰撞可能性相对应的显示方式呈现给驾驶员。由此，驾驶员能基于驾驶时可视性变差的死角方向的拍摄图像的显示方式，来对该图像中的车外物体与本车辆的碰撞可能性进行视觉确认。
[0010]然而，无论驾驶员如何警惕，碰撞事故的避免也都取决于驾驶员的驾驶。为此，在本发明的车辆周边显示装置中，在判定为呈现给驾驶员的图像中的车外物体与本车辆的碰撞可能性最高的情况下，无论驾驶员如何驾驶，都由该装置控制车辆来避免碰撞事故。由此，能可靠地避免碰撞事故。
[0011]图1是表示本发明实施方式I的车辆周边显示装置的结构的框图。图1所示的车辆周边显示装置是具有上述特征的车辆周边显示装置，包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14、显示图像生成部15、以及显示部16而构成。
车辆控制I/F部10是获取进行方向盘、变速杆等车辆的驾驶操作的操作部的操作信号以作为表示车辆驾驶状态的车辆控制信息的车辆控制信息获取部。车辆控制信息可以举出方向盘的转向角、变速杆的操作信号等与车辆的驾驶控制有关的信息。由车辆控制I/F部10获取到的车辆控制信息被输出到车辆控制部12以及信息处理部14。
[0012]摄像机组11是安装于车辆的多个部位的多个车载摄像机，对车辆周边的多个方向进行拍摄。摄像机组11例如利用车辆中标准搭载的后摄像机、前摄像机、侧摄像机。
车辆控制部12基于车辆控制I/F部10获取到的车辆控制信息来控制车辆的运动。此夕卜，车辆控制部12根据信息处理部14对车外物体与本车辆的碰撞可能性的判定结果来控制本车辆。例如，车辆控制部12在信息处理部14判定为车外物体与本车辆的碰撞可能性最高的情况下，忽略来自车辆控制I/F部10的信息，对本车辆的运动进行控制，以避免与信息处理部14所确定的车外物体发生碰撞。
[0013]全景生成部13利用摄像机组11拍摄到的多个图像来生成将本车辆周边的多个拍摄方向的图像相连而成的全景图像。例如，使用由摄像机组11拍摄到的、被拍摄体在空间上连续的多个摄像机图像，并考虑车载摄像机的视野方向等对各摄像机图像进行连结，以确保相邻图像间的连续性。
[0014]信息处理部14基于由车辆控制I/F部10获取到的车辆控制信息所表示的本车辆的驾驶状态，来从全景生成部13所生成的车辆周边的全景图像中判断要呈现给驾驶员的图像区域。要呈现给驾驶员的图像区域例如是驾驶员的视野的可视性变差的方向上拍摄到的图像区域。
此外，信息处理部14基于根据全景图像判断出的上述图像区域中拍摄到的车外物体与车辆控制I/F部10获取到的车辆控制信息，对本车辆与车外物体的碰撞可能性进行判定。例如，基于由摄像机组11以规定的时间间隔连续拍摄到的图像与本车辆的位置来推算车外物体与本车辆的距离，并将推算出的距离与规定的阈值范围进行比较来判定与车外物体的碰撞可能性。
另外，信息处理部14在判定车外物体与本车辆的碰撞可能性最高后，向车辆控制部12输出控制信号，以避免与车外物体产生碰撞。
[0015]显示图像生成部15基于由全景生成部13生成的全景图像和信息处理部14的处理结果，来生成包含信息处理部14所判定出的图像区域的显示图像。例如，在由信息处理部14从车辆周边的全景图像中判断出的要呈现给驾驶员的图像区域中拍摄到车外物体的情况下，生成进行了对该车外物体进行突出显示的图像加工后的显示图像。
显示部16是对显示图像生成部15所生成的显示图像进行显示的显示部，由设置在车辆内的各种显示器或手持带入车辆内的信息终端所具备的显示器来实现。
[0016]另外，车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14、以及显示图像生成部15能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序，从而实现为软件和硬件协同工作的处理单元。
[0017]接下来对动作进行说明。
图2是表示实施方式I的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图2的处理。
首先，由摄像机组11的各个车载摄像机对车辆周边进行拍摄，获取车辆周边的多个拍摄方向的摄像机图像(步骤STl)。例如，摄像机组11的各个车载摄像机以规定的时间间隔周期性地进行拍摄，获得表示车辆周边伴随着时间流逝的状况变化的图像。由摄像机组11的各个车载摄像机拍摄到的摄像机图像被发送到全景生成部13。
[0018]全景生成部13对摄像机组11的各个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成全景图像(步骤ST2)。全景生成部13所生成的全景图像被输出到信息处理部14以及显示图像生成部15。
[0019]接着，车辆控制I/F部10获取与驾驶操作有关的车辆控制信息(步骤ST3)。与驾驶操作有关的车辆控制信息是表示驾驶者控制的车辆的驾驶状态的信息，例如是表示从包含方向盘以及变速杆的车辆操作机构获取到的方向 盘转向角或变速杆的档位位置的信息。车辆控制I/F部10获取到的车辆控制信息被输出到信息处理部14。
[0020]信息处理部14基于车辆控制信息所表示的车辆的驾驶状态来从全景图像中判断要显示的图像区域(步骤ST4)。这里，对于判断结果的图像区域，生成哪个拍摄方向的图像、全景图像的哪个部分的图像区域、可能成为障碍物的车外物体是否成为了被拍摄体这样的用于确定该图像区域的信息(称为图像的提取)。表示判断结果的图像区域的信息从信息处理部14输出到显示图像生成部15。
[0021]图3是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(左转时)的图。在图3(a)所示的全景图像的形式中，全景图像13a的上半部分表示车辆前方180°的全景图像，全景图像13a的下半部分表示车辆后方180°的全景图像。此外，通过将上半部分的全景图像的右端与下半部分的全景图像的左端进行连接，从而获得车辆周围360°的全景(车辆的全方位全景)。因此，在驾驶者看着车辆前方的情况下，存在于驾驶员右侧的车外物体拍摄在上半部分的全景图像的右端以及下半部分的全景图像的左端。下面，假设全景生成部13生成该形式的全景图像。另外，该形式只是全景图像形式的一个示例，也可以使用其它形式的全景图像。
[0022]在获得图3(a)所示的全景图像13a的状态下，若驾驶员将变速杆切换到“D”档并向左打方向盘(方向盘转向角Θ)，则信息处理部14从全景图像13a中判断由虚线包围的图像区域(提取图像)作为要显示的图像区域。即，如图3(b)所示，在使车辆左转的驾驶状态的情况下，车辆的内轮侧的前后方向成为驾驶员的可视性变差的方向。因此，将图3 (a)中由虚线包围表示的左前方的图像区域与左后方的图像区域提取出。例如在全景图像的分辨率是横L X纵2H且进行方向盘转向角Θ的左转的情况下，将以距离该全景图像的中心线L/2 0的位置作为中心线(提取图像中心线)的分辨率为WXH的图像区域作为内轮侧(左侧)的前向以及后向的图像区域来提取出。
通过将包含该图像区域的显示图像显示在显示部16中来呈现给驾驶员，使得驾驶员能确认车辆的内轮侧是否有障碍物，能帮助避免左转时的发生事故来进行驾驶。
[0023]图4是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(后退时)的图。图4(a)所示的全景图像13a的形式也与图3同样，全景图像13a的上半部分表示车辆前方180°的全景图像，全景图像13a的下半部分表示车辆后方180°的全景图像，通过将上半部分的全景图像的右端与下半部分的全景图像的左端相连接，来获得车辆周围360°的全景(车辆的全方位全景)。
[0024]在获得图4(a)所示的全景图像13a的状态下，若驾驶员向左打方向盘(方向盘转向角Θ )并将变速杆切换到倒车档“R"进行倒车，则信息处理部14从全景图像13a中判断由虚线包围的图像区域(提取图像)作为要显示的图像区域。即，如图4(b)所示，在使车辆向左后退的情况下，驾驶员需要对车辆的后退方向进行视觉确认，但通常容易疏忽车辆右前方，若该方向上有障碍物，则碰撞的危险性变高。因此，将图4(a)中由虚线包围表示的右前方和左后方的各个图像区域提取出。例如在全景图像的分辨率是横LX纵2H且方向盘转向角为Θ的情况下，将以距离该全景图像的中心线L/2 0的位置作为中心线(提取图像中心线)的分辨率为WXH的图像区域作为右前方及左后方的图像区域来提取出。通过将包含上述图像区域的显示图像显示在显示部16中来呈现给驾驶员，使得驾驶员能确认车辆的后退方向及其对角方向是否有障碍物，能帮助避免倒车时的产生事故来进行驾驶。另夕卜，上述图像区域的提取方法是一个示例，也可以使用其它方法。
[0025]返回图2的说明。信息处理部14在从全景图像中判断出要显示给驾驶员的图像区域后，从判断出的图像区域的被拍摄体中检测会成为障碍物的车外物体(步骤ST5)。例如，由摄像机组11以规定的时间间隔连续拍摄到的摄像机图像生成的全景图像中逐一判断上述图像区域。对这些图像区域中拍摄到的车外物体进行图像识别，在时间连续的图像区域中所拍摄到的车外物体逐渐变大的情况下，判断为该车外物体逐渐靠近本车辆，判断该车外物体是可能成为本车辆的障碍物的车外物体。
[0026]接着，信息处理部14对要显示给该驾驶员的图像区域中拍摄到的车外物体与本车辆碰撞的可能性进行判定(步骤ST6)。例如，基于上述那样时间连续的图像区域中拍摄到的车外物体的大小来推算车外物体与本车辆的相对距离。将推算出的距离与表示“无碰撞可能性”、“有碰撞可能性”、以及“碰撞可能性最大”这三个状态的阈值范围进行比较，来判定对应的状况。
[0027]信息处理部14在判定为“无碰撞可能性”、即与作为障碍物的车外物体之间的距离较远而不可能发生碰撞、或者未检测到成为障碍物的车外物体的情况下，将这一意思通知给显示图像生成部15。显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14判断为要进行显示的图像区域，对该图像区域进行第一图像加工来生成显示图像(步骤ST7)。第一图像加工是在不对被拍摄体的车外物体实施特别的图像加工的情况下生成包含由信息处理部14提取出的图像区域在内的显示图像的处理。
[0028]此外，信息处理部14在判定为“有碰撞可能性”、即与成为障碍物的车外物体之间的距离比“无碰撞可能性”的情况近、且在预先决定的距离范围内的情况下，将这一意思通知给显示图像生成部15。
显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14判断为要进行显示的图像区域，对该图像区域进行第二图像加工来生成显示图像(步骤ST8)。
第二图像加工是用于引起驾驶员对上述车外物体的注意的加工处理，是实施对被拍摄体的车外物体进行突出显示的图像加工来生成包含由信息处理部14提取出的图像区域在内的显示图像的处理。突出显示例如可以举出用框包围车外物体、沿着车外物体的轮廓描边、使上述框或上述边的线闪烁、或使上述框或上述边的线变为警告色等。
[0029]显示图像生成部15在步骤ST7或步骤ST8中生成包含上述图像区域的显示图像后，将生成的显示图像输出到显示部16。
显示部16将从显示图像生成部15输入的显示图像显示在画面上(步骤ST9)。由此，能引起驾驶员对上述车外物体的注意，能帮助驾驶时避免与本车辆发生碰撞。
[0030]另一方面，信息处理部14在判定为“碰撞可能性最大”、即与成为障碍物的车外物体之间的距离进一步靠近、且在预先设定的需要避免碰撞的距离范围内的情况下，对车辆控制部12输出指令以避免碰撞，并输出对象车外物体所在的方向等避免碰撞所需的信息。
另外，避免碰撞所需的距离范围例如是车外物体与本车辆的距离为数米的范围，并且是预测驾驶员正在判断驾驶操作而无法避免与车外物体发生碰撞的距离范围。
[0031]车辆控制部12在接收到上述指令后，基于上述避免碰撞所需的信息，控制本车辆的动作而不受驾驶员驾驶的影响，从而避免碰撞(步骤ST10)。
例如，车辆控制部12从车辆控制I/F部10输入车辆控制信息来确定本车辆的驾驶状态，根据由此提取出的图像区域的时间上的变化等来确定车外物体的大致位置，从而改变本车辆的前进方向以避开该车外物体所在的方向、或降低向车外物体所在方向的前进速度、或停止本车辆的运转。
另外，在变更车辆前进方向的情况下，信息处理部14预先根据车辆周边的全景图像确定不存在车外物体的安全方向，将表示该安全方向的信息连同避免碰撞的指令一起发送给车辆控制部12。由此，车辆控制部12能将车辆的前进方向变更为不存在车外物体且安全的方向。
[0032]如上所述，根据该实施方式1，包括:获取表示车辆驾驶状态的车辆控制信息的车辆控制I/F部10 ;将摄像机组11拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成车辆周边的全景图像的全景生成部13 ;基于车辆控制信息所表示的车辆的驾驶状态来从车辆周边的全景图像中判断要显示的图像区域、并判定该图像区域中拍摄到的车外物体与车辆的碰撞可能性的信息处理部14 ;生成包含由信息处理部14判断出的图像区域在内的显示图像并显示在显示部16中的显示图像生成部15 ;以及根据信息处理部14对碰撞可能性的判定结果来控制车辆、以避免与车外物体发生碰撞的车辆控制部12。
通过采用上述结构，能根据由拍摄车辆周边得到的图像判断出的与车外物体的碰撞可能性来帮助驾驶员在驾驶时避免与车外物体发生碰撞。
此外，例如若在驾驶员正在判断驾驶操作而无法避免与车外物体发生碰撞的距离范围内，则自动控制本车辆以避免与该车外物体发生碰撞，因此能可靠地避免碰撞事故。
[0033]此外，根据本实施方式1，显示图像生成部15生成将要显示的图像区域中的拍摄有车外物体的区域加工成与该车外物体和车辆的碰撞可能性相对应的显示方式的显示图像。由此，能基于显示图像引起驾驶员对车外物体的注意，能帮助驾驶时避免与本车辆发生碰撞。
[0034]而且，根据本实施方式1，信息处理部14将对驾驶员的可视性变差的方向进行拍摄得到的图像区域判断为车辆周边的全景图像中要显示的图像区域。由此，能根据驾驶状态可靠地向驾驶员呈现需要注意的方向的图像。
[0035]实施方式2. 实施方式2的车辆周边显示装置将要呈现给驾驶员的图像 区域是从全景图像的哪个部分提取出的图像区域、即是与车辆周边的哪个拍摄方向相对应的图像包含在显示图像中进行显示。由此，驾驶员能容易地识别所呈现的图像是在哪个方向上拍摄到的图像。
[0036]图5是表示本发明实施方式2的车辆周边显示装置的结构的框图。图5所示的车辆周边显示装置包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14A、显示图像生成部15、显示部16、以及应用I/F部17而构成。另外，图5中，与图1标注相同标号的构成要素起到与实施方式I相同的作用，因此省略其说明。
[0037]应用I/F部17是用于将驾驶员控制的规定的操作部的操作信息通知给信息处理部14A的接口部，尤其接受对信息处理部14A指示将表示从全景图像中提取出的图像区域的拍摄方向的信息包含在显示图像中的操作信息。另外，规定的操作部是能由驾驶员进行适当操作的操作部，例如是设置在方向盘上的输入按钮等。
[0038]信息处理部14A基本上以和实施方式I同样的方式工作，但在经由应用I/F部17获取上述操作信息的情况下，将表示要呈现给驾驶员的图像区域是从全景图像的哪个区域提取出来的、即该图像区域是在车辆周边的哪个方向上拍摄到的图像区域的信息通知给显示图像生成部15。
显示图像生成部15生成将表示从信息处理部14A输入的图像区域的拍摄方向的信息包含在内的显示图像。
[0039]车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14A、显示图像生成部15、以及应用I/F部17能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序，来实现为软件和硬件协同工作的处理单元。
[0040]接下来对动作进行说明。
图6是表示实施方式2的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图6的处理。该流程图的处理中与图1不同的处理如下所示。
步骤ST4a中，信息处理部14A获取应用I/F部17的操作信息。即，若驾驶员对设置在方向盘上的输入按钮等操作部进行操作，则该操作信息经由应用I/F部17输入到信息处理部 14A。
[0041]步骤ST7a中，若信息处理部14A对判断出的图像区域中拍摄到的车外物体判定为“不可能发生碰撞”，则将该判定结果和表示该图像区域的拍摄方向的信息通知给显示图像生成部15。
显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14A判断为要进行显示的图像区域，对该图像区域进行第三图像加工来生成显示图像(步骤ST8a)。
第三图像加工是在不对被拍摄体的车外物体实施特别的图像加工而实施将该被拍摄体的车外物体及其拍摄方向一起进行显示的图像加工，从而生成包含由信息处理部14提取出的图像区域在内的显示图像14的处理。
[0042]此外，步骤ST7a中，若信息处理部14A对判断出的图像区域中拍摄到的车外物体判定为“有发生碰撞的可能性”，则将该判定结果和表示该图像区域的拍摄方向的信息通知给显示图像生成部15。
显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14A判断为要进行显示的图像区域，对该图像区域进行第四图像加工来生成显示图像(步骤ST9a)。
第四图像加工是用于引起驾驶员对上述车外物体的注意的加工处理，是实施对被拍摄体的车外物体进行突出显示并连同其拍摄方向一起进行显示的图像加工，从而生成包含由信息处理部14提取出的图像区域在内的显示图像的处理。
[0043]显示图像生成部15在步骤ST8a或步骤ST9a中生成显示图像后，将生成的显示图像输出到显示部16。
显示部16将从显示图像生成部15输入的显示图像显示在画面上(步骤STlOa)。
[0044]如上所述，根据本实施方式2，信息处理部14A将表示根据车辆周边的全景图像判断出的图像区域的拍摄方向的信息输出到显示图像生成部15，从而显示图像生成部15生成包含该图像区域和表示其拍摄方向的信息在内的显示图像。由此，驾驶员能从显示图像中识别出车外物体以及该车外物体所在的方向，因此能引起驾驶员对车外物体的注意，从而能帮助驾驶员更可靠地避免与本车辆的碰撞。
[0045]实施方式3.在实施方式3的车辆周边显示装置中，基于根据车辆信息确定的车辆的行驶状态，对从车辆周边的全景图像判断出的图像区域的尺寸进行变更。
图7是表示本发明实施方式3的车辆周边显示装置的结构的框图。图7所示的车辆周边显示装置包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14B、显示图像生成部15A、显示部16、以及车辆信息管理部18而构成。另外，图7中，与图1标注相同标号的构成要素起到与实施方式I相同的作用，因此省略其说明。
[0046]车辆信息管理部18从车辆的驱动机构获取车辆信息并进行管理，并根据需要将车辆信息提供给请求方。另外，车辆信息是表示车辆的行驶状态的信息，有车速、加速度等。
信息处理部14B基于根据车辆信息确定的车辆的行驶状态，对从车辆周边的全景图像判断出的图像区域(下面称为提取图像区域)的尺寸进行变更。例如根据车速对提取图像区域的尺寸进行缩放。
显示图像生成部15A生成包含由信息处理部14B以和车辆的行驶状态相对应的尺寸判断出的图像区域在内的显示图像。
[0047]车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14B、显示图像生成部15A、以及车辆信息管理部18能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序来实现为软件和硬件协同工作的处理单元。
[0048]接下来对动作进行说明。
图8是表示实施方式3的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图8的处理。该流程图的处理中与图1不同的处理如下所示。
步骤ST4b中，信息处理部14B向车辆信息管理部18请求车辆信息，并获取表示车辆当前的行驶状态的车辆信息。
接着，信息处理部14B从全景图像中判断出与车辆当前的行驶状态相对应尺寸的提取图像区域(步骤ST5b)。
[0049]图9是表示根据车辆的行驶状态对图像区域的尺寸进行变更的处理的一个示例的图。这里，对以和车辆的车速以及加速度相对应的尺寸从全景图像中提取出图像区域的处理进行阐述。另外，图9中，无论行驶状态如何，都将提取图像区域的纵向尺寸固定，并根据车速和加速度对横向尺寸进行变更。
例如，在三个行驶状态(情况A、情况B、情况C)下，将情况A的行驶状态下的车速设为V，将加速度设为α F，以该行驶状态为基准，用横向WX纵向H表示提取图像区域的尺寸Al。此外，信息处理部14Β利用车速V和加速度α的函数来求得提取图像区域的横向尺寸。
这里，在情况B的行驶状态下，车速与情况A相同，但加速度变为a 1(> aF)。该情况下，随着加速度的增加，驾驶员的视野相应地变小。
为此，信息处理部14B为了以更广阔的视野将拍摄到的图像区域呈现给驾驶员，如图9所示，从全景图像中判断(提取)出横向比情况A的提取图像区域要大的尺寸W’al(>W)的提取图像区域(尺寸A2 = W’ alXH)。
另外，在情况C的行驶状态下，车速与情况A、B相同，但加速度变为a2(> al)。该情况下，随着加速度的增加，驾驶员的视野相应地进一步变小。
为此，信息处理部14B为了以更广阔的视野将拍摄到的图像区域呈现给驾驶员，如图9所示，从全景图像中判断(提取)出横向比情况B的提取图像区域要大的尺寸W’ a2(>r al)的提取图像区域(尺寸A3 =W’ a2XH)。
[0050]返回到图8的说明，在步骤STSb中，显示图像生成部15A从全景生成部13所生成的全景图像中提取出由信息处理部14B判断为要进行显示的图像区域，对该图像区域进行第五图像加工来生成显示图像。
第五图像加工是在不对被拍摄体的车外物体实施特别的加工处理的情况下生成包含以和车辆行驶状态相对应的尺寸提取出的图像区域在内的显示图像的处理。
[0051]此外，在步骤ST9b中，显示图像生成部15A从全景生成部13所生成的全景图像中提取出由信息处理部14判断为要进行显示的图像区域，对该图像区域进行第六图像加工来生成显示图像。
第六图像加工是用于引起驾驶员对上述车外物体的注意的加工处理，是对被拍摄体的车外物体进行突出显示后生成包含以和车辆行驶状态相对应的尺寸提取出的图像区域在内的显示图像的处理。
[0052]显示图像生成部15A在步骤ST8b或步骤ST9b中生成显示图像后，将生成的显示图像输出到显示部16。
显示部16将从显示图像生成部15A输入的显示图像显示在画面上(步骤STlOb)。
[0053]如上所述，根据本实施方式3，具备对表示车辆行驶状态的车辆信息进行保存并根据请求将该车辆信息提供给请求方的车辆信息管理部18，信息处理部14B根据从车辆信息确定的车辆行驶状态，对从车辆周边的全景图像中判断出的图像区域的尺寸进行变更。由此，即使驾驶员的视野根据车辆行驶状态而变化，也能从全景图像中判断出与之相对应的视野范围的图像区域来提供 。由此，能可靠地引起对车外物体的注意，能更可靠地避免与本车辆的碰撞。
[0054]实施方式4.在实施方式4的车辆周边显示装置中，从车辆周边的全景图像中判断出由带入车内的外部设备、即手持设备指定的条件所对应的图像区域，并利用手持设备显示包含该图像区域在内的显示图像。由此，手持设备的操作者能确认车辆周边的状况，能基于确认到的状况向驾驶员提供驾驶建议。作为用例，可以举出对驾驶没有信心的驾驶员的支持、通过山路等窄路的情况等的驾驶辅助。
[0055]图10是表示本发明实施方式4的车辆周边显示装置的结构的框图。图10所示的车辆周边显示装置是接受来自上述手持设备19的操作的车辆周边显示装置，包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14C、显示图像生成部15B、以及显示部16而构成。另外，图10中，与图1标注相同标号的构成要素起到与实施方式I相同的作用，因此省略其说明。
[0056]手持设备19是由乘客从车外带入车内的信息设备，例如可以举出智能手机、平板型PC等。另外，手持设备19能向车辆周边显示装置的信息处理部14C通知指定提取图像的条件。此外，也能利用手持设备19的显示部显示根据该条件判断出的提取图像。
[0057]信息处理部14C与实施方式I同样，基于车辆的驾驶状态，从车辆周边的全景图像中判断出要显示的图像区域(提取图像区域)。此外，信息处理部14C在由手持设备19指定了提取条件的情况下，与基于车辆驾驶状态的处理独立地判断满足所指定条件的图像区域。
另外，表示提取图像区域的信息无论在哪个情况下都从信息处理部14C输出给显示图像生成部15B。
[0058]显示图像生成部15B与实施方式I同样，根据显示部16的显示规格生成包含基于车辆驾驶状态判断出的提取图像区域在内的显示图像。此外，在信息处理部14C判断出满足手持设备19所指定的条件的提取图像区域的情况下，显示图像生成部15B与基于车辆驾驶状态的处理独立地根据手持设备19的显示部的显示规格来生成包含该提取图像区域的显不图像。
[0059]接下来对动作进行说明。
图11是表示实施方式4的车辆周边显示装置的动作的流程图，示出了从手持设备19指定提取图像区域的情况的处理。
另外，该流程图的动作能与实施方式I?3所示的处理并行执行。
首先，车辆的同行人操作手持设备19，将表示车辆周边所希望的方向的信息作为提取图像区域的指定条件通知给车辆周边显示装置(步骤STlc)。例如，指定从全景图像提取的区域的位置作为表示车辆周边所希望的方向的信息。
[0060]信息处理部14C从全景生成部13所生成的车辆周边的全景图像中判断出满足手持设备19所指定的条件的图像区域(步骤ST2c)。表示判断结果的图像区域的信息从信息处理部14C输出到显示图像生成部15B。
[0061]接着，信息处理部14C在判断出满足手持设备19所指定的条件的图像区域后，从判断出的图像区域的被拍摄体中检测出成为障碍物的车外物体(步骤ST3c)。例如，从由摄像机组11以规定的时间间隔连续拍摄到的摄像机图像生成的全景图像中逐一判断满足上述所指定的条件的图像区域。对这些图像区域中拍摄到的车外物体进行图像识别，在时间连续的图像区域中拍摄到的车外物体逐渐变大的情况下，判断为该车外物体逐渐靠近本车辆，判断该车外物体是可能成为本车辆的障碍物的车外物体。
[0062]显示图像生成部15B从全景生成部13所生成的全景图像中提取出由信息处理部14C判断出的提取图像区域，并对图像区域实施图像加工，以符合手持设备19的显示部的显示规格的方式生成显示图像(步骤ST4c)。
之后，显示图像生成部15B将作为图像加工处理结果而生成的显示图像通知给手持设备19，而非显不部16 (步骤ST5c)。由此，在手持设备19的显不部中显不该显不图像。
[0063]另外，在没有从与显示图像生成部15B通信连接的手持设备19通知指定图像区域的条件的情况下，显示图像生成部15B也可以将显示在显示部16中的显示图像(包含根据车辆驾驶状态判断出的图像区域在内的显示图像)显示在手持设备19的显示部中。
此外，显示图像生成部15B也可以将包含满足手持设备19所指定的条件的图像区域在内的显示图像显示在显示部16中。该情况下，由显示图像生成部15B对满足指定条件的图像区域实施符合显示部16的显示规格的图像加工，从而生成显示图像。
[0064]如上所述，根据本实施方式4，信息处理部14C从车辆周边的全景图像中判断出与作为外部设备的手持设备19所指定的条件相对应的图像区域，因此能确认手持设备的操作者所指定的车辆周边的状况。
[0065]此外，根据本实施方式4，显示图像生成部15B生成包含与作为外部设备的手持设备19所指定的条件相对应的图像区域在内的显示图像，并显示于显示部16以及手持设备19的显示部中的至少一个显示部中，因此手持设备的操作者能确认车辆周边的状况，从而能基于确认到的状况向驾驶员提供驾驶建议。
[0066]此外，本发明可以在该发明的范围内对各实施方式进行自由组合，或对各实施方式的任意构成要素进行变形、或在各实施方式中省略任意的构成要素。
工业上的实用性
[0067]本发明的车辆周边显示装置，能促使驾驶员意识到车外物体来进行驾驶，而且即使驾驶员的驾驶操作有延迟，也能自动进行避免与车外物体碰撞的车辆控制，因此适用于车辆的安全驾驶辅助装置。
标号说明
[0068]10 车辆控制I/F部
11摄像机组
12车辆控制部
13全景生成部
14，14A，14B，14C 信息处理部 15，15A，15B 显示图像生成部
16显示部
17应用I/F部
18车辆信息管理部
19手持设备。
【主权项】
1.一种车辆周边显示装置，将拍摄车辆周边得到的图像显示在显示部中，其特征在于，包括: 车辆控制信息获取部，该车辆控制信息获取部获取表示车辆驾驶状态的车辆控制信息; 全景生成部，该全景生成部将多个车载摄像机拍摄到的所述车辆周边的多个拍摄方向的图像进行合成来生成所述车辆周边的全景图像； 信息处理部，该信息处理部基于所述车辆控制信息所表示的所述车辆的驾驶状态，从所述车辆周边的全景图像中判断出要显示的图像区域，并对该图像区域中拍摄到的车外物体与所述车辆发生碰撞的可能性进行判定； 显示图像生成部，该显示图像生成部生成包含所述信息处理部所判断出的所述图像区域在内的显示图像，并显示在所述显示部中；以及 车辆控制部，该车辆控制部根据所述信息处理部对发生碰撞的可能性的判定结果来控制所述车辆，以避免与所述车外物体发生碰撞。2.如权利要求1所述的车辆周边显示装置，其特征在于，所述显示图像生成部生成所述显示图像，该显示图像通过将所述要显示的图像区域中的拍摄有所述车外物体的区域加工成与该车外物体和所述车辆发生碰撞的可能性相对应的显示方式而得。3.如权利要求1所述的车辆周边显示装置，其特征在于，所述信息处理部从所述车辆周边的全景图像中，将对驾驶员的可视性变差的方向拍摄到的图像区域判断为所述要显示的图像区域。4.如权利要求1所述的车辆周边显示装置，其特征在于，所述信息处理部将表示从所述车辆周边的全景图像中判断出的所述图像区域的拍摄方向的信息输出到所述显示图像生成部， 所述显示图像生成部生成包含所述图像区域以及表示所述图像区域的拍摄方向的信息在内的显示图像。5.如权利要求1所述的车辆周边显示装置，其特征在于，包括车辆信息管理部，该车辆信息管理部对表示车辆行驶状态的车辆信息进行保存，并根据请求将该车辆信息提供给请求方， 所述信息处理部根据从所述车辆信息确定的所述车辆的行驶状态，对从所述车辆周边的全景图像中判断出的所述图像区域的尺寸进行变更。6.如权利要求1所述的车辆周边显示装置，其特征在于，所述信息处理部从所述车辆周边的全景图像中判断出与由外部设备指定的条件相对应的图像区域。7.如权利要求6所述的车辆周边显示装置，其特征在于，所述显示图像生成部生成包含与所述外部设备所指定的条件相对应的所述图像区域在内的显示图像，并显示在所述显示部及所述外部设备的显示部中的至少一个显示部中。
【专利摘要】本发明基于车辆控制信息所表示的车辆的驾驶状态，从车辆周边的全景图像中判断出要显示的图像区域，并判定该图像区域中拍摄到的车外物体与车辆发生碰撞的可能性，生成包含该图像区域在内的显示图像并将该显示图像显示在显示部(16)中，并根据发生碰撞的可能性的判定结果来控制车辆，以避免与车外物体发生碰撞。
【IPC分类】B60R1/00, B60R21/00, H04N7/18, G08G1/16
【公开号】CN104903946
【申请号】CN201380069841
【发明人】渡边义明, 水口武尚, 三井武史, 小川吉大, 春日隆文, 三木洋平, 藤田伟雄
【申请人】三菱电机株式会社
【公开日】2015年9月9日
【申请日】2013年1月9日
【公告号】DE112013006385T5, US20150284001, WO2014109016A1
【技术领域】
[0001]本发明涉及将拍摄车辆周边得到的图像呈现给用户、并根据从该图像判断出的碰撞可能性来控制车辆的车辆周边显示装置。
【背景技术】
[0002]例如，专利文献I公开了一种基于方向盘转向角和变速杆位置信息来改变呈现给驾驶员的车载摄像机图像的大小或视点的车载装置。
此外，专利文献2公开了一种基于方向盘转向角等车辆信息并根据车载摄像机图像生成全景图像并呈现给驾驶员的车载摄像机系统。
通过如上述那样利用全景图像来呈现车辆周边，从而使得例如驾驶员能确认左右转方向，能避免发生事故。
现有技术文献专利文献
[0003]专利文献I
日本专利特开2005-198160号公报专利文献2
日本专利特开2001-55100号公报
【发明内容】
发明所要解决的技术问题
[0004]在以专利文献1、2为代表的现有技术中，仅在画面上显示车辆周边的图像，而根据图像判断事故危险性的任务则交给了驾驶员。即，由于驾驶员基于车辆周边图像得到的危险性的判断结果不同，因此存在驾驶操作可能会随之产生延迟的问题。
[0005]本发明为了解决上述问题而完成，其目的在于获得一种车辆周边显示装置，能促使驾驶员注意到车外物体来进行驾驶，而且即使驾驶员的驾驶操作有延迟，也能自动进行避免与车外物体碰撞的车辆控制。
解决技术问题所采用的技术方案
[0006]本发明的车辆周边显示装置将拍摄车辆周边得到的图像显示在显示部中，其包括:车辆控制信息获取部，该车辆控制信息获取部获取表示车辆驾驶状态的车辆控制信息；全景生成部，该全景生成部将多个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成全景图像；信息处理部，该信息处理部基于车辆控制信息所表示的车辆的驾驶状态，从全景图像中判断出要显示的图像区域，并对该图像区域中拍摄到的车外物体与车辆的碰撞可能性进行判定；显示图像生成部，该显示图像生成部生成包含信息处理部所判断出的图像区域在内的显示图像，并将该显示图像显示在显示部中；以及车辆控制部，该车辆控制部根据信息处理部对碰撞可能性的判定结果来控制车辆，以避免车辆与车外物体发生碰撞O 发明效果
[0007]根据本发明，具有如下效果:能帮助驾驶员意识到车外物体来进行驾驶，并且即使驾驶员的驾驶操作有延时，也能自动进行避免与车外物体发生碰撞的车辆控制。
【附图说明】
[0008]图1是表示本发明的实施方式I所涉及的车辆周边显示装置的结构的框图。
图2是表示实施方式I所涉及的车辆周边显示装置的动作的流程图。
图3是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(左转时)的图。
图4是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(后退时)的图。
图5是表示本发明的实施方式2所涉及的车辆周边显示装置的结构的框图。
图6是表示实施方式2所涉及的车辆周边显示装置的动作的流程图。
图7是表示本发明的实施方式3所涉及的车辆周边显示装置的结构的框图。
图8是表示实施方式3所涉及的车辆周边显示装置的动作的流程图。
图9是表示根据车辆的行驶状态对图像区域的尺寸进行变更的处理的一个示例的图。 图10是表示本发明的实施方式4所涉及的车辆周边显示装置的结构的框图。
图11是表示从全景图像中提取通过手持设备指定的图像区域并利用该手持设备进行显示的处理的流程图。
【具体实施方式】
[0009]下面，为了更详细地说明本发明，根据附图，对用于实施本发明的方式进行说明。 实施方式1.本发明的车辆周边显示装置中，首先，在考虑车辆前进方向的情况下，从对多个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成而构成的全景图像中，提取并提供对驾驶员而言各个时刻的驾驶所需的车辆周边图像。
尤其是在汽车中，驾驶员的死角较多，处于该死角的行人或车辆等车外物体与本车辆的碰擦事故是导致车辆事故的主要原因。
为此，本发明中，从车辆周边的全景图像中，根据本车辆的前进方向来判断可能会成为驾驶员死角的视野方向的车辆周边图像。然后，判定该图像中的车外物体与本车辆的碰撞可能性，并以和碰撞可能性相对应的显示方式呈现给驾驶员。由此，驾驶员能基于驾驶时可视性变差的死角方向的拍摄图像的显示方式，来对该图像中的车外物体与本车辆的碰撞可能性进行视觉确认。
[0010]然而，无论驾驶员如何警惕，碰撞事故的避免也都取决于驾驶员的驾驶。为此，在本发明的车辆周边显示装置中，在判定为呈现给驾驶员的图像中的车外物体与本车辆的碰撞可能性最高的情况下，无论驾驶员如何驾驶，都由该装置控制车辆来避免碰撞事故。由此，能可靠地避免碰撞事故。
[0011]图1是表示本发明实施方式I的车辆周边显示装置的结构的框图。图1所示的车辆周边显示装置是具有上述特征的车辆周边显示装置，包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14、显示图像生成部15、以及显示部16而构成。
车辆控制I/F部10是获取进行方向盘、变速杆等车辆的驾驶操作的操作部的操作信号以作为表示车辆驾驶状态的车辆控制信息的车辆控制信息获取部。车辆控制信息可以举出方向盘的转向角、变速杆的操作信号等与车辆的驾驶控制有关的信息。由车辆控制I/F部10获取到的车辆控制信息被输出到车辆控制部12以及信息处理部14。
[0012]摄像机组11是安装于车辆的多个部位的多个车载摄像机，对车辆周边的多个方向进行拍摄。摄像机组11例如利用车辆中标准搭载的后摄像机、前摄像机、侧摄像机。
车辆控制部12基于车辆控制I/F部10获取到的车辆控制信息来控制车辆的运动。此夕卜，车辆控制部12根据信息处理部14对车外物体与本车辆的碰撞可能性的判定结果来控制本车辆。例如，车辆控制部12在信息处理部14判定为车外物体与本车辆的碰撞可能性最高的情况下，忽略来自车辆控制I/F部10的信息，对本车辆的运动进行控制，以避免与信息处理部14所确定的车外物体发生碰撞。
[0013]全景生成部13利用摄像机组11拍摄到的多个图像来生成将本车辆周边的多个拍摄方向的图像相连而成的全景图像。例如，使用由摄像机组11拍摄到的、被拍摄体在空间上连续的多个摄像机图像，并考虑车载摄像机的视野方向等对各摄像机图像进行连结，以确保相邻图像间的连续性。
[0014]信息处理部14基于由车辆控制I/F部10获取到的车辆控制信息所表示的本车辆的驾驶状态，来从全景生成部13所生成的车辆周边的全景图像中判断要呈现给驾驶员的图像区域。要呈现给驾驶员的图像区域例如是驾驶员的视野的可视性变差的方向上拍摄到的图像区域。
此外，信息处理部14基于根据全景图像判断出的上述图像区域中拍摄到的车外物体与车辆控制I/F部10获取到的车辆控制信息，对本车辆与车外物体的碰撞可能性进行判定。例如，基于由摄像机组11以规定的时间间隔连续拍摄到的图像与本车辆的位置来推算车外物体与本车辆的距离，并将推算出的距离与规定的阈值范围进行比较来判定与车外物体的碰撞可能性。
另外，信息处理部14在判定车外物体与本车辆的碰撞可能性最高后，向车辆控制部12输出控制信号，以避免与车外物体产生碰撞。
[0015]显示图像生成部15基于由全景生成部13生成的全景图像和信息处理部14的处理结果，来生成包含信息处理部14所判定出的图像区域的显示图像。例如，在由信息处理部14从车辆周边的全景图像中判断出的要呈现给驾驶员的图像区域中拍摄到车外物体的情况下，生成进行了对该车外物体进行突出显示的图像加工后的显示图像。
显示部16是对显示图像生成部15所生成的显示图像进行显示的显示部，由设置在车辆内的各种显示器或手持带入车辆内的信息终端所具备的显示器来实现。
[0016]另外，车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14、以及显示图像生成部15能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序，从而实现为软件和硬件协同工作的处理单元。
[0017]接下来对动作进行说明。
图2是表示实施方式I的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图2的处理。
首先，由摄像机组11的各个车载摄像机对车辆周边进行拍摄，获取车辆周边的多个拍摄方向的摄像机图像(步骤STl)。例如，摄像机组11的各个车载摄像机以规定的时间间隔周期性地进行拍摄，获得表示车辆周边伴随着时间流逝的状况变化的图像。由摄像机组11的各个车载摄像机拍摄到的摄像机图像被发送到全景生成部13。
[0018]全景生成部13对摄像机组11的各个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成全景图像(步骤ST2)。全景生成部13所生成的全景图像被输出到信息处理部14以及显示图像生成部15。
[0019]接着，车辆控制I/F部10获取与驾驶操作有关的车辆控制信息(步骤ST3)。与驾驶操作有关的车辆控制信息是表示驾驶者控制的车辆的驾驶状态的信息，例如是表示从包含方向盘以及变速杆的车辆操作机构获取到的方向 盘转向角或变速杆的档位位置的信息。车辆控制I/F部10获取到的车辆控制信息被输出到信息处理部14。
[0020]信息处理部14基于车辆控制信息所表示的车辆的驾驶状态来从全景图像中判断要显示的图像区域(步骤ST4)。这里，对于判断结果的图像区域，生成哪个拍摄方向的图像、全景图像的哪个部分的图像区域、可能成为障碍物的车外物体是否成为了被拍摄体这样的用于确定该图像区域的信息(称为图像的提取)。表示判断结果的图像区域的信息从信息处理部14输出到显示图像生成部15。
[0021]图3是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(左转时)的图。在图3(a)所示的全景图像的形式中，全景图像13a的上半部分表示车辆前方180°的全景图像，全景图像13a的下半部分表示车辆后方180°的全景图像。此外，通过将上半部分的全景图像的右端与下半部分的全景图像的左端进行连接，从而获得车辆周围360°的全景(车辆的全方位全景)。因此，在驾驶者看着车辆前方的情况下，存在于驾驶员右侧的车外物体拍摄在上半部分的全景图像的右端以及下半部分的全景图像的左端。下面，假设全景生成部13生成该形式的全景图像。另外，该形式只是全景图像形式的一个示例，也可以使用其它形式的全景图像。
[0022]在获得图3(a)所示的全景图像13a的状态下，若驾驶员将变速杆切换到“D”档并向左打方向盘(方向盘转向角Θ)，则信息处理部14从全景图像13a中判断由虚线包围的图像区域(提取图像)作为要显示的图像区域。即，如图3(b)所示，在使车辆左转的驾驶状态的情况下，车辆的内轮侧的前后方向成为驾驶员的可视性变差的方向。因此，将图3 (a)中由虚线包围表示的左前方的图像区域与左后方的图像区域提取出。例如在全景图像的分辨率是横L X纵2H且进行方向盘转向角Θ的左转的情况下，将以距离该全景图像的中心线L/2 0的位置作为中心线(提取图像中心线)的分辨率为WXH的图像区域作为内轮侧(左侧)的前向以及后向的图像区域来提取出。
通过将包含该图像区域的显示图像显示在显示部16中来呈现给驾驶员，使得驾驶员能确认车辆的内轮侧是否有障碍物，能帮助避免左转时的发生事故来进行驾驶。
[0023]图4是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(后退时)的图。图4(a)所示的全景图像13a的形式也与图3同样，全景图像13a的上半部分表示车辆前方180°的全景图像，全景图像13a的下半部分表示车辆后方180°的全景图像，通过将上半部分的全景图像的右端与下半部分的全景图像的左端相连接，来获得车辆周围360°的全景(车辆的全方位全景)。
[0024]在获得图4(a)所示的全景图像13a的状态下，若驾驶员向左打方向盘(方向盘转向角Θ )并将变速杆切换到倒车档“R"进行倒车，则信息处理部14从全景图像13a中判断由虚线包围的图像区域(提取图像)作为要显示的图像区域。即，如图4(b)所示，在使车辆向左后退的情况下，驾驶员需要对车辆的后退方向进行视觉确认，但通常容易疏忽车辆右前方，若该方向上有障碍物，则碰撞的危险性变高。因此，将图4(a)中由虚线包围表示的右前方和左后方的各个图像区域提取出。例如在全景图像的分辨率是横LX纵2H且方向盘转向角为Θ的情况下，将以距离该全景图像的中心线L/2 0的位置作为中心线(提取图像中心线)的分辨率为WXH的图像区域作为右前方及左后方的图像区域来提取出。通过将包含上述图像区域的显示图像显示在显示部16中来呈现给驾驶员，使得驾驶员能确认车辆的后退方向及其对角方向是否有障碍物，能帮助避免倒车时的产生事故来进行驾驶。另夕卜，上述图像区域的提取方法是一个示例，也可以使用其它方法。
[0025]返回图2的说明。信息处理部14在从全景图像中判断出要显示给驾驶员的图像区域后，从判断出的图像区域的被拍摄体中检测会成为障碍物的车外物体(步骤ST5)。例如，由摄像机组11以规定的时间间隔连续拍摄到的摄像机图像生成的全景图像中逐一判断上述图像区域。对这些图像区域中拍摄到的车外物体进行图像识别，在时间连续的图像区域中所拍摄到的车外物体逐渐变大的情况下，判断为该车外物体逐渐靠近本车辆，判断该车外物体是可能成为本车辆的障碍物的车外物体。
[0026]接着，信息处理部14对要显示给该驾驶员的图像区域中拍摄到的车外物体与本车辆碰撞的可能性进行判定(步骤ST6)。例如，基于上述那样时间连续的图像区域中拍摄到的车外物体的大小来推算车外物体与本车辆的相对距离。将推算出的距离与表示“无碰撞可能性”、“有碰撞可能性”、以及“碰撞可能性最大”这三个状态的阈值范围进行比较，来判定对应的状况。
[0027]信息处理部14在判定为“无碰撞可能性”、即与作为障碍物的车外物体之间的距离较远而不可能发生碰撞、或者未检测到成为障碍物的车外物体的情况下，将这一意思通知给显示图像生成部15。显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14判断为要进行显示的图像区域，对该图像区域进行第一图像加工来生成显示图像(步骤ST7)。第一图像加工是在不对被拍摄体的车外物体实施特别的图像加工的情况下生成包含由信息处理部14提取出的图像区域在内的显示图像的处理。
[0028]此外，信息处理部14在判定为“有碰撞可能性”、即与成为障碍物的车外物体之间的距离比“无碰撞可能性”的情况近、且在预先决定的距离范围内的情况下，将这一意思通知给显示图像生成部15。
显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14判断为要进行显示的图像区域，对该图像区域进行第二图像加工来生成显示图像(步骤ST8)。
第二图像加工是用于引起驾驶员对上述车外物体的注意的加工处理，是实施对被拍摄体的车外物体进行突出显示的图像加工来生成包含由信息处理部14提取出的图像区域在内的显示图像的处理。突出显示例如可以举出用框包围车外物体、沿着车外物体的轮廓描边、使上述框或上述边的线闪烁、或使上述框或上述边的线变为警告色等。
[0029]显示图像生成部15在步骤ST7或步骤ST8中生成包含上述图像区域的显示图像后，将生成的显示图像输出到显示部16。
显示部16将从显示图像生成部15输入的显示图像显示在画面上(步骤ST9)。由此，能引起驾驶员对上述车外物体的注意，能帮助驾驶时避免与本车辆发生碰撞。
[0030]另一方面，信息处理部14在判定为“碰撞可能性最大”、即与成为障碍物的车外物体之间的距离进一步靠近、且在预先设定的需要避免碰撞的距离范围内的情况下，对车辆控制部12输出指令以避免碰撞，并输出对象车外物体所在的方向等避免碰撞所需的信息。
另外，避免碰撞所需的距离范围例如是车外物体与本车辆的距离为数米的范围，并且是预测驾驶员正在判断驾驶操作而无法避免与车外物体发生碰撞的距离范围。
[0031]车辆控制部12在接收到上述指令后，基于上述避免碰撞所需的信息，控制本车辆的动作而不受驾驶员驾驶的影响，从而避免碰撞(步骤ST10)。
例如，车辆控制部12从车辆控制I/F部10输入车辆控制信息来确定本车辆的驾驶状态，根据由此提取出的图像区域的时间上的变化等来确定车外物体的大致位置，从而改变本车辆的前进方向以避开该车外物体所在的方向、或降低向车外物体所在方向的前进速度、或停止本车辆的运转。
另外，在变更车辆前进方向的情况下，信息处理部14预先根据车辆周边的全景图像确定不存在车外物体的安全方向，将表示该安全方向的信息连同避免碰撞的指令一起发送给车辆控制部12。由此，车辆控制部12能将车辆的前进方向变更为不存在车外物体且安全的方向。
[0032]如上所述，根据该实施方式1，包括:获取表示车辆驾驶状态的车辆控制信息的车辆控制I/F部10 ;将摄像机组11拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成车辆周边的全景图像的全景生成部13 ;基于车辆控制信息所表示的车辆的驾驶状态来从车辆周边的全景图像中判断要显示的图像区域、并判定该图像区域中拍摄到的车外物体与车辆的碰撞可能性的信息处理部14 ;生成包含由信息处理部14判断出的图像区域在内的显示图像并显示在显示部16中的显示图像生成部15 ;以及根据信息处理部14对碰撞可能性的判定结果来控制车辆、以避免与车外物体发生碰撞的车辆控制部12。
通过采用上述结构，能根据由拍摄车辆周边得到的图像判断出的与车外物体的碰撞可能性来帮助驾驶员在驾驶时避免与车外物体发生碰撞。
此外，例如若在驾驶员正在判断驾驶操作而无法避免与车外物体发生碰撞的距离范围内，则自动控制本车辆以避免与该车外物体发生碰撞，因此能可靠地避免碰撞事故。
[0033]此外，根据本实施方式1，显示图像生成部15生成将要显示的图像区域中的拍摄有车外物体的区域加工成与该车外物体和车辆的碰撞可能性相对应的显示方式的显示图像。由此，能基于显示图像引起驾驶员对车外物体的注意，能帮助驾驶时避免与本车辆发生碰撞。
[0034]而且，根据本实施方式1，信息处理部14将对驾驶员的可视性变差的方向进行拍摄得到的图像区域判断为车辆周边的全景图像中要显示的图像区域。由此，能根据驾驶状态可靠地向驾驶员呈现需要注意的方向的图像。
[0035]实施方式2. 实施方式2的车辆周边显示装置将要呈现给驾驶员的图像 区域是从全景图像的哪个部分提取出的图像区域、即是与车辆周边的哪个拍摄方向相对应的图像包含在显示图像中进行显示。由此，驾驶员能容易地识别所呈现的图像是在哪个方向上拍摄到的图像。
[0036]图5是表示本发明实施方式2的车辆周边显示装置的结构的框图。图5所示的车辆周边显示装置包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14A、显示图像生成部15、显示部16、以及应用I/F部17而构成。另外，图5中，与图1标注相同标号的构成要素起到与实施方式I相同的作用，因此省略其说明。
[0037]应用I/F部17是用于将驾驶员控制的规定的操作部的操作信息通知给信息处理部14A的接口部，尤其接受对信息处理部14A指示将表示从全景图像中提取出的图像区域的拍摄方向的信息包含在显示图像中的操作信息。另外，规定的操作部是能由驾驶员进行适当操作的操作部，例如是设置在方向盘上的输入按钮等。
[0038]信息处理部14A基本上以和实施方式I同样的方式工作，但在经由应用I/F部17获取上述操作信息的情况下，将表示要呈现给驾驶员的图像区域是从全景图像的哪个区域提取出来的、即该图像区域是在车辆周边的哪个方向上拍摄到的图像区域的信息通知给显示图像生成部15。
显示图像生成部15生成将表示从信息处理部14A输入的图像区域的拍摄方向的信息包含在内的显示图像。
[0039]车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14A、显示图像生成部15、以及应用I/F部17能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序，来实现为软件和硬件协同工作的处理单元。
[0040]接下来对动作进行说明。
图6是表示实施方式2的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图6的处理。该流程图的处理中与图1不同的处理如下所示。
步骤ST4a中，信息处理部14A获取应用I/F部17的操作信息。即，若驾驶员对设置在方向盘上的输入按钮等操作部进行操作，则该操作信息经由应用I/F部17输入到信息处理部 14A。
[0041]步骤ST7a中，若信息处理部14A对判断出的图像区域中拍摄到的车外物体判定为“不可能发生碰撞”，则将该判定结果和表示该图像区域的拍摄方向的信息通知给显示图像生成部15。
显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14A判断为要进行显示的图像区域，对该图像区域进行第三图像加工来生成显示图像(步骤ST8a)。
第三图像加工是在不对被拍摄体的车外物体实施特别的图像加工而实施将该被拍摄体的车外物体及其拍摄方向一起进行显示的图像加工，从而生成包含由信息处理部14提取出的图像区域在内的显示图像14的处理。
[0042]此外，步骤ST7a中，若信息处理部14A对判断出的图像区域中拍摄到的车外物体判定为“有发生碰撞的可能性”，则将该判定结果和表示该图像区域的拍摄方向的信息通知给显示图像生成部15。
显示图像生成部15接收到上述通知后，从全景生成部13所生成的全景图像中提取出由信息处理部14A判断为要进行显示的图像区域，对该图像区域进行第四图像加工来生成显示图像(步骤ST9a)。
第四图像加工是用于引起驾驶员对上述车外物体的注意的加工处理，是实施对被拍摄体的车外物体进行突出显示并连同其拍摄方向一起进行显示的图像加工，从而生成包含由信息处理部14提取出的图像区域在内的显示图像的处理。
[0043]显示图像生成部15在步骤ST8a或步骤ST9a中生成显示图像后，将生成的显示图像输出到显示部16。
显示部16将从显示图像生成部15输入的显示图像显示在画面上(步骤STlOa)。
[0044]如上所述，根据本实施方式2，信息处理部14A将表示根据车辆周边的全景图像判断出的图像区域的拍摄方向的信息输出到显示图像生成部15，从而显示图像生成部15生成包含该图像区域和表示其拍摄方向的信息在内的显示图像。由此，驾驶员能从显示图像中识别出车外物体以及该车外物体所在的方向，因此能引起驾驶员对车外物体的注意，从而能帮助驾驶员更可靠地避免与本车辆的碰撞。
[0045]实施方式3.在实施方式3的车辆周边显示装置中，基于根据车辆信息确定的车辆的行驶状态，对从车辆周边的全景图像判断出的图像区域的尺寸进行变更。
图7是表示本发明实施方式3的车辆周边显示装置的结构的框图。图7所示的车辆周边显示装置包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14B、显示图像生成部15A、显示部16、以及车辆信息管理部18而构成。另外，图7中，与图1标注相同标号的构成要素起到与实施方式I相同的作用，因此省略其说明。
[0046]车辆信息管理部18从车辆的驱动机构获取车辆信息并进行管理，并根据需要将车辆信息提供给请求方。另外，车辆信息是表示车辆的行驶状态的信息，有车速、加速度等。
信息处理部14B基于根据车辆信息确定的车辆的行驶状态，对从车辆周边的全景图像判断出的图像区域(下面称为提取图像区域)的尺寸进行变更。例如根据车速对提取图像区域的尺寸进行缩放。
显示图像生成部15A生成包含由信息处理部14B以和车辆的行驶状态相对应的尺寸判断出的图像区域在内的显示图像。
[0047]车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14B、显示图像生成部15A、以及车辆信息管理部18能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序来实现为软件和硬件协同工作的处理单元。
[0048]接下来对动作进行说明。
图8是表示实施方式3的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图8的处理。该流程图的处理中与图1不同的处理如下所示。
步骤ST4b中，信息处理部14B向车辆信息管理部18请求车辆信息，并获取表示车辆当前的行驶状态的车辆信息。
接着，信息处理部14B从全景图像中判断出与车辆当前的行驶状态相对应尺寸的提取图像区域(步骤ST5b)。
[0049]图9是表示根据车辆的行驶状态对图像区域的尺寸进行变更的处理的一个示例的图。这里，对以和车辆的车速以及加速度相对应的尺寸从全景图像中提取出图像区域的处理进行阐述。另外，图9中，无论行驶状态如何，都将提取图像区域的纵向尺寸固定，并根据车速和加速度对横向尺寸进行变更。
例如，在三个行驶状态(情况A、情况B、情况C)下，将情况A的行驶状态下的车速设为V，将加速度设为α F，以该行驶状态为基准，用横向WX纵向H表示提取图像区域的尺寸Al。此外，信息处理部14Β利用车速V和加速度α的函数来求得提取图像区域的横向尺寸。
这里，在情况B的行驶状态下，车速与情况A相同，但加速度变为a 1(> aF)。该情况下，随着加速度的增加，驾驶员的视野相应地变小。
为此，信息处理部14B为了以更广阔的视野将拍摄到的图像区域呈现给驾驶员，如图9所示，从全景图像中判断(提取)出横向比情况A的提取图像区域要大的尺寸W’al(>W)的提取图像区域(尺寸A2 = W’ alXH)。
另外，在情况C的行驶状态下，车速与情况A、B相同，但加速度变为a2(> al)。该情况下，随着加速度的增加，驾驶员的视野相应地进一步变小。
为此，信息处理部14B为了以更广阔的视野将拍摄到的图像区域呈现给驾驶员，如图9所示，从全景图像中判断(提取)出横向比情况B的提取图像区域要大的尺寸W’ a2(>r al)的提取图像区域(尺寸A3 =W’ a2XH)。
[0050]返回到图8的说明，在步骤STSb中，显示图像生成部15A从全景生成部13所生成的全景图像中提取出由信息处理部14B判断为要进行显示的图像区域，对该图像区域进行第五图像加工来生成显示图像。
第五图像加工是在不对被拍摄体的车外物体实施特别的加工处理的情况下生成包含以和车辆行驶状态相对应的尺寸提取出的图像区域在内的显示图像的处理。
[0051]此外，在步骤ST9b中，显示图像生成部15A从全景生成部13所生成的全景图像中提取出由信息处理部14判断为要进行显示的图像区域，对该图像区域进行第六图像加工来生成显示图像。
第六图像加工是用于引起驾驶员对上述车外物体的注意的加工处理，是对被拍摄体的车外物体进行突出显示后生成包含以和车辆行驶状态相对应的尺寸提取出的图像区域在内的显示图像的处理。
[0052]显示图像生成部15A在步骤ST8b或步骤ST9b中生成显示图像后，将生成的显示图像输出到显示部16。
显示部16将从显示图像生成部15A输入的显示图像显示在画面上(步骤STlOb)。
[0053]如上所述，根据本实施方式3，具备对表示车辆行驶状态的车辆信息进行保存并根据请求将该车辆信息提供给请求方的车辆信息管理部18，信息处理部14B根据从车辆信息确定的车辆行驶状态，对从车辆周边的全景图像中判断出的图像区域的尺寸进行变更。由此，即使驾驶员的视野根据车辆行驶状态而变化，也能从全景图像中判断出与之相对应的视野范围的图像区域来提供 。由此，能可靠地引起对车外物体的注意，能更可靠地避免与本车辆的碰撞。
[0054]实施方式4.在实施方式4的车辆周边显示装置中，从车辆周边的全景图像中判断出由带入车内的外部设备、即手持设备指定的条件所对应的图像区域，并利用手持设备显示包含该图像区域在内的显示图像。由此，手持设备的操作者能确认车辆周边的状况，能基于确认到的状况向驾驶员提供驾驶建议。作为用例，可以举出对驾驶没有信心的驾驶员的支持、通过山路等窄路的情况等的驾驶辅助。
[0055]图10是表示本发明实施方式4的车辆周边显示装置的结构的框图。图10所示的车辆周边显示装置是接受来自上述手持设备19的操作的车辆周边显示装置，包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14C、显示图像生成部15B、以及显示部16而构成。另外，图10中，与图1标注相同标号的构成要素起到与实施方式I相同的作用，因此省略其说明。
[0056]手持设备19是由乘客从车外带入车内的信息设备，例如可以举出智能手机、平板型PC等。另外，手持设备19能向车辆周边显示装置的信息处理部14C通知指定提取图像的条件。此外，也能利用手持设备19的显示部显示根据该条件判断出的提取图像。
[0057]信息处理部14C与实施方式I同样，基于车辆的驾驶状态，从车辆周边的全景图像中判断出要显示的图像区域(提取图像区域)。此外，信息处理部14C在由手持设备19指定了提取条件的情况下，与基于车辆驾驶状态的处理独立地判断满足所指定条件的图像区域。
另外，表示提取图像区域的信息无论在哪个情况下都从信息处理部14C输出给显示图像生成部15B。
[0058]显示图像生成部15B与实施方式I同样，根据显示部16的显示规格生成包含基于车辆驾驶状态判断出的提取图像区域在内的显示图像。此外，在信息处理部14C判断出满足手持设备19所指定的条件的提取图像区域的情况下，显示图像生成部15B与基于车辆驾驶状态的处理独立地根据手持设备19的显示部的显示规格来生成包含该提取图像区域的显不图像。
[0059]接下来对动作进行说明。
图11是表示实施方式4的车辆周边显示装置的动作的流程图，示出了从手持设备19指定提取图像区域的情况的处理。
另外，该流程图的动作能与实施方式I?3所示的处理并行执行。
首先，车辆的同行人操作手持设备19，将表示车辆周边所希望的方向的信息作为提取图像区域的指定条件通知给车辆周边显示装置(步骤STlc)。例如，指定从全景图像提取的区域的位置作为表示车辆周边所希望的方向的信息。
[0060]信息处理部14C从全景生成部13所生成的车辆周边的全景图像中判断出满足手持设备19所指定的条件的图像区域(步骤ST2c)。表示判断结果的图像区域的信息从信息处理部14C输出到显示图像生成部15B。
[0061]接着，信息处理部14C在判断出满足手持设备19所指定的条件的图像区域后，从判断出的图像区域的被拍摄体中检测出成为障碍物的车外物体(步骤ST3c)。例如，从由摄像机组11以规定的时间间隔连续拍摄到的摄像机图像生成的全景图像中逐一判断满足上述所指定的条件的图像区域。对这些图像区域中拍摄到的车外物体进行图像识别，在时间连续的图像区域中拍摄到的车外物体逐渐变大的情况下，判断为该车外物体逐渐靠近本车辆，判断该车外物体是可能成为本车辆的障碍物的车外物体。
[0062]显示图像生成部15B从全景生成部13所生成的全景图像中提取出由信息处理部14C判断出的提取图像区域，并对图像区域实施图像加工，以符合手持设备19的显示部的显示规格的方式生成显示图像(步骤ST4c)。
之后，显示图像生成部15B将作为图像加工处理结果而生成的显示图像通知给手持设备19，而非显不部16 (步骤ST5c)。由此，在手持设备19的显不部中显不该显不图像。
[0063]另外，在没有从与显示图像生成部15B通信连接的手持设备19通知指定图像区域的条件的情况下，显示图像生成部15B也可以将显示在显示部16中的显示图像(包含根据车辆驾驶状态判断出的图像区域在内的显示图像)显示在手持设备19的显示部中。
此外，显示图像生成部15B也可以将包含满足手持设备19所指定的条件的图像区域在内的显示图像显示在显示部16中。该情况下，由显示图像生成部15B对满足指定条件的图像区域实施符合显示部16的显示规格的图像加工，从而生成显示图像。
[0064]如上所述，根据本实施方式4，信息处理部14C从车辆周边的全景图像中判断出与作为外部设备的手持设备19所指定的条件相对应的图像区域，因此能确认手持设备的操作者所指定的车辆周边的状况。
[0065]此外，根据本实施方式4，显示图像生成部15B生成包含与作为外部设备的手持设备19所指定的条件相对应的图像区域在内的显示图像，并显示于显示部16以及手持设备19的显示部中的至少一个显示部中，因此手持设备的操作者能确认车辆周边的状况，从而能基于确认到的状况向驾驶员提供驾驶建议。
[0066]此外，本发明可以在该发明的范围内对各实施方式进行自由组合，或对各实施方式的任意构成要素进行变形、或在各实施方式中省略任意的构成要素。
工业上的实用性
[0067]本发明的车辆周边显示装置，能促使驾驶员意识到车外物体来进行驾驶，而且即使驾驶员的驾驶操作有延迟，也能自动进行避免与车外物体碰撞的车辆控制，因此适用于车辆的安全驾驶辅助装置。
标号说明
[0068]10 车辆控制I/F部
11摄像机组
12车辆控制部
13全景生成部
14，14A，14B，14C 信息处理部 15，15A，15B 显示图像生成部
16显示部
17应用I/F部
18车辆信息管理部
19手持设备。
【主权项】
1.一种车辆周边显示装置，将拍摄车辆周边得到的图像显示在显示部中，其特征在于，包括: 车辆控制信息获取部，该车辆控制信息获取部获取表示车辆驾驶状态的车辆控制信息; 全景生成部，该全景生成部将多个车载摄像机拍摄到的所述车辆周边的多个拍摄方向的图像进行合成来生成所述车辆周边的全景图像； 信息处理部，该信息处理部基于所述车辆控制信息所表示的所述车辆的驾驶状态，从所述车辆周边的全景图像中判断出要显示的图像区域，并对该图像区域中拍摄到的车外物体与所述车辆发生碰撞的可能性进行判定； 显示图像生成部，该显示图像生成部生成包含所述信息处理部所判断出的所述图像区域在内的显示图像，并显示在所述显示部中；以及 车辆控制部，该车辆控制部根据所述信息处理部对发生碰撞的可能性的判定结果来控制所述车辆，以避免与所述车外物体发生碰撞。2.如权利要求1所述的车辆周边显示装置，其特征在于，所述显示图像生成部生成所述显示图像，该显示图像通过将所述要显示的图像区域中的拍摄有所述车外物体的区域加工成与该车外物体和所述车辆发生碰撞的可能性相对应的显示方式而得。3.如权利要求1所述的车辆周边显示装置，其特征在于，所述信息处理部从所述车辆周边的全景图像中，将对驾驶员的可视性变差的方向拍摄到的图像区域判断为所述要显示的图像区域。4.如权利要求1所述的车辆周边显示装置，其特征在于，所述信息处理部将表示从所述车辆周边的全景图像中判断出的所述图像区域的拍摄方向的信息输出到所述显示图像生成部， 所述显示图像生成部生成包含所述图像区域以及表示所述图像区域的拍摄方向的信息在内的显示图像。5.如权利要求1所述的车辆周边显示装置，其特征在于，包括车辆信息管理部，该车辆信息管理部对表示车辆行驶状态的车辆信息进行保存，并根据请求将该车辆信息提供给请求方， 所述信息处理部根据从所述车辆信息确定的所述车辆的行驶状态，对从所述车辆周边的全景图像中判断出的所述图像区域的尺寸进行变更。6.如权利要求1所述的车辆周边显示装置，其特征在于，所述信息处理部从所述车辆周边的全景图像中判断出与由外部设备指定的条件相对应的图像区域。7.如权利要求6所述的车辆周边显示装置，其特征在于，所述显示图像生成部生成包含与所述外部设备所指定的条件相对应的所述图像区域在内的显示图像，并显示在所述显示部及所述外部设备的显示部中的至少一个显示部中。
【专利摘要】本发明基于车辆控制信息所表示的车辆的驾驶状态，从车辆周边的全景图像中判断出要显示的图像区域，并判定该图像区域中拍摄到的车外物体与车辆发生碰撞的可能性，生成包含该图像区域在内的显示图像并将该显示图像显示在显示部(16)中，并根据发生碰撞的可能性的判定结果来控制车辆，以避免与车外物体发生碰撞。
【IPC分类】B60R1/00, B60R21/00, H04N7/18, G08G1/16
【公开号】CN104903946
【申请号】CN201380069841
【发明人】渡边义明, 水口武尚, 三井武史, 小川吉大, 春日隆文, 三木洋平, 藤田伟雄
【申请人】三菱电机株式会社
【公开日】2015年9月9日
【申请日】2013年1月9日
【公告号】DE112013006385T5, US20150284001, WO2014109016A1
最新回复(0)