Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

1. CN106458029 - Display device and vehicle

Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique
显示装置及交通工具


技术领域
本发明涉及显示装置以及包含该显示装置的交通工具。
背景技术
作为一项新的交通安全技术,使用立体相机和/或平视显示器(在下文中被称为“HuD”)的显示装置的技术已被开发。该技术是用于测量距离的立体相机技术和用于直接在驾驶员的视野上投射图像的HuD技术的结合。市场期待能够实现具有“增强现实(AR)”的视频体验。在市场上,实现自动驾驶的技术已被开发,并且期望,在2020年之前,局部自动驾驶的交通工具将会上市。
当前的HuD技术可以被理解为在手动操作期间,通过减少眼球运动来提供安全驾驶。在上述自动驾驶变成日常的社会中,关于交通工具内的人的行为将会如何改变,或交通工具的内部将会如何改变有很高的争议。同时有很高争议的是,期望至少通知乘客“他们自己的交通工具的当前环境”的功能是必需的。
当孩子与正在驾驶交通工具的父母乘坐在该交通工具上时,例如孩子乘坐在安装在交通工具的前排座或后座的儿童安全座椅的情形,很可能驾驶员会分散注意并且扫视儿童确定以确定孩子的安全。
发明内容
本发明所要解决的问题
当驾驶员面对乘客时,视野会显著的移位,并且视野可能偏离交通工具的行进方向。这样的情形可能不适于交通安全。即使驾驶员不面对乘客,当驾驶员使用例如导航设备时,驾驶员的视线也可能偏离交通工具的行进方向,从而降低安全性。
有必要提供一种显示装置或类似装置,在防止安全性降低的同时,驾驶员能够确认乘客的状况。
解决问题的手段
根据本发明的一个方面,提供一种显示装置,包括被配置为拍摄与交通工具的驾驶员一起乘坐在交通工具中的乘客的信息的乘客图像拍摄单元;被配置为基于乘客图像拍摄单元拍摄的信息生成表示乘客的状况的图像的图像生成器;以及被配置为将图像与驾驶员的视野叠加并且在驾驶员的视野中显示图像的图像显示单元。
本发明的效果
根据本发明实施例,提供一种显示装置或类似装置,在防止安全性降低的同时,驾驶员能够确认乘客的状况。
附图说明
图1是示出根据实施例的显示装置的实例的示意图;
图2是示出根据实施例的图像显示单元的实例的示意图;
图3是示出根据实施例的显示装置的操作的实例的示意图;
图4是示出驾驶员图像拍摄单元是立体相机的情形时的硬件配置的实例的示意图;
图5是展示确定图像是否被显示的流程的实例的流程图;以及
图6是展示通过根据实施例的显示装置显示的图像的实例的示意图。
具体实施方式
下面参照附图阐释本发明的实施例。在附图中,相同的参考数字可能附加于相同的部件,由此重复的说明可以省略。
图1是举例说明根据本发明的实施例的显示装置1的示意图。如图1所示,显示装置1包含于交通工具120中。例如,显示装置1可以包括,驾驶员图像拍摄单元10;前向图像拍摄单元15;乘客图像拍摄单元20;图像处理单元40;图像显示单元50;以及乘客显示器60。注意,驾驶员图像拍摄单元10、前向图像拍摄单元15以及乘客显示器60可以是显示装置1的可选部件,并且它们可以不是显示装置1的必要部件。实施例通过汽车来举例说明。然而,实施例不限于此,根据实施例的显示装置1可以被包含在例如飞机、船舶或者机器人中。注意在本说明书中,交通工具可以指代例如汽车、飞机、船舶或者机器人。
驾驶员图像拍摄单元10可以包括拍摄驾驶员130的图像的功能,以便确定交通工具120的驾驶员130的状况。举例来说,可以使用单目相机或者双目相机(立体相机)作为驾驶员图像拍摄单元10。驾驶员图像拍摄单元10可以被布置成驾驶员图像拍摄单元10能够拍摄以驾驶员130的双眼附近作为视角的图像。驾驶员图像拍摄单元10可以按照交通工具120的内部设计被布置在交通工具120的任意位置。例如,驾驶员图像拍摄单元10可以被布置在交通工具120的车顶部分。可选择地或者此外,举例来说,驾驶员图像拍摄单元10可以被布置在交通工具120的仪表板的顶部。
前向图像拍摄单元15可以包括拍摄交通工具120前面的图像的功能,以便确定在交通工具120前方,驾驶员130需要警惕的目标(例如,在前的交通工具,或者行人)的存在或不存在,和/或交通工具120与在前的交通工具之间的距离。举例来说,可以使用单目相机或者双目相机(立体相机)作为前向图像拍摄单元15。前向图像拍摄单元15可以按照交通工具120的内部设计被布置在交通工具120的任意位置。例如,前向图像拍摄单元15可以被布置在交通工具120的车顶部分。可选择地或者此外,前向图像拍摄单元15可以被布置在交通工具120的仪表板的顶部。
乘客图像拍摄单元20包括拍摄乘客140的图像的功能,以便确定与驾驶员130一起乘坐在交通工具120中的乘客140的状况。举例来说,可以使用单目相机或者双目相机(立体相机)作为乘客图像拍摄单元20。乘客图像拍摄单元20可以按照交通工具120的内部设计被布置在交通工具120的任意位置。例如,乘客图像拍摄单元20可以被布置在交通工具120的前排座的背面上部。可选择地或此外,乘客图像拍摄单元20可以被布置在交通工具120的车顶部分。
优选地,乘客图像拍摄单元20可以具有比驾驶员图像拍摄单元10的视角宽的视角。换句话说,乘客图像拍摄单元20可以优选地被布置成乘客140的全身能够在乘客图像拍摄单元20的视角内被拍摄。这是因为需要乘客图像拍摄单元20来确定乘客140的各种状况。例如,当三个乘客被容纳于后座时,乘客图像拍摄单元20可以优先地具有足够宽的视角来拍摄所有三个乘客的状况。
此外,可以在交通工具120中布置多个图像拍摄单元作为乘客图像拍摄单元20。例如,图像拍摄单元可以被布置成保证整个后座的图像能够被拍摄。此外,可以设置与后座的图像拍摄单元不同的图像拍摄单元,以便确定在前面的乘客席中的乘客的状况。用于确定在前面乘客席中的乘客的状况的图像拍摄单元的位置的实例可以是在前面乘客席一侧的仪表板上方的位置。
举例来说,乘客140可以是坐在儿童安全座椅中的儿童。然而,实施例不限于此。例如,乘客140可以是坐在交通工具120的后座上的成人。可选择地,乘客140可以坐在前面乘客席上而不是后座上。
图像处理单元40可以包括基于从驾驶员图像拍摄单元10和乘客图像拍摄单元20获得的信息生成重叠图像,并且在显示单元50上输出重叠图像的功能。图像处理单元40可以被布置在交通工具120内的任意位置。举例来说,图像处理单元40可以具有包括中央处理单元(CPU)、只读存储器(ROM)以及主存储器的配置。
在这种情况下,图像处理单元40的各种功能可以通过读取存储在ROM中的或主存储器上的程序并通过CPU执行程序来实施。注意,图像处理单元40的一部分或全部可以仅通过硬件实施。此外,图像处理单元40物理上可以包括多个设备。
图像显示单元50是一种所谓的“平视显示器”,其包括在交通工具120中显示由图像处理单元40产生的图像作为叠加到驾驶员130的视野上的虚拟图像的功能。图像显示单元50可以按照交通工具120的内部设计被布置在交通工具120的任意位置。例如,图像显示单元50可以被布置在交通工具120中的仪表板上方的位置。可选择地,图像显示单元50可以被嵌入仪表板中。
更具体地说,图像显示单元50可以通过利用反射镜、透镜和/或类似物来放大内部生成的中间图像,并且图像显示单元50可以将放大的图像作为虚拟图像显示。图像显示单元50可以显示虚拟图像,以致驾驶员130可以带着虚拟图像与驾驶员130的视点分隔预定距离的感觉来观看虚拟图像。图像显示单元50可以被实现为平面投影型显示器或激光扫描型显示器。图像显示单元50可以是这些显示器中的任意类型。激光扫描型显示器可以在该实施例中是优选的使用,因为激光扫描型显示器可以允许扩大虚拟图像的视角,并且激光扫描型显示器可以显示对外界光具有稳健性的高亮度图像。在以下说明中,使用激光扫描型显示器作为图像显示单元50的实例。
图2是举例说明根据实施例的图像显示单元50的示意图。如图2所示,图像显示单元50可以至少包括光源51、光偏转器52、第一反射镜53、扫描面54以及第二反射镜55。在图2中,数字参考135表示驾驶员130的眼球(在下文中被称为“眼球135”),参考数字110表示虚拟图像(在下文中被称为“虚拟图像110”)。
光源51例如可以包括分别对应于“R”“G”和“B”的三个激光源;耦合透镜;光圈;合成光学元件;以及透镜。分别从三个激光源发出的激光束被合成,并且合成光束被引向光偏转器52的反射面。被引向光偏转器52的反射面的激光束经由光偏转器52被二维偏转。
作为光偏转器52的实例,可以使用相对于两个垂直轴线振荡的一个微镜。可选择地,可以使用其中每一个相对于一个轴振荡或旋转的两个微镜。光偏转器52可以是由半导体处理产生的微机电系统(MEMS)。例如,光偏转器52可以由利用压电元件的变形力作为牵引力的致动器驱动。
经由光偏转器52被二维偏转的光束进入第一反射镜53,并且光束由第一反射镜53反射,由此二维图像呈现在扫描面54上。可以使用凹镜作为第一反射镜53的实例。第一反射镜53的反射面例如可以是变形反射镜。换句话说,第一反射镜53的反射面在预定方向的曲率可以不同于其在预定方向的正交方向的曲率。当第一反射镜53的反射面是变形反射镜时,反射面的曲面形状可以被调整,并且像差校正性能可以被增强。
扫描面54可以是透明表面,在扫描面54上,由反射在第一反射镜53上并进入扫描面54的光束形成二维图像。扫描面54具有以期望的发散角来发散合成激光束的功能。例如,扫描面54可以优选地具有微镜阵列结构。从扫描面54发出的光束被第二反射镜55和半透半反镜59放大并显示。举例来说,凹镜可以用作第二反射镜55。图像显示单元50可以包括传输类型光学元件,例如透镜或棱镜。
半透半反镜59可以是在可见光区中透射比为10-70%的反射镜。在由第二反射镜55反射的光束所入射的半透半反镜59的一侧上,半透半反镜59具有在其上形成有例如多层介质膜或有线网格的反射面。半透半反镜59的反射面可以是由激光发出的而且在预定波长范围内的光束被选择性地反射的镜面。换句话说,半透半反镜59的反射面可以是被形成为使得具有反射峰或反射带宽的光束的反射系数增加的反射面,具有反射峰或反射带宽的光束包括与“R”、“G”和“B”对应的三个激光器发出的光束。可选择地或此外,半透半反镜59的反射面可以是被形成为使得在特定的偏转方向上的光束的反射系数增加的反射面。
例如,半透半反镜59可以集成于交通工具120的前挡风玻璃125(参考图1)。通过在交通工具中的驾驶员130的前方设置图像显示单元50,由半透半反镜59的反射面反射的光束可以进入在驾驶员的座位中的驾驶员130的眼球135。然后,扫描面54的二维图像可以在预定位置作为放大的虚拟图像110被驾驶员130看到,预定位置是相对于半透半反镜59的反射面的位置的前方位置。换句话说,通过图像显示单元50,可以实现所谓的“平视显示”。
参照图1,乘客显示器60可以具有显示由驾驶员图像拍摄单元10拍摄的图像的功能。乘客显示器60可以根据交通工具120的内部设计被布置在交通工具120中的任意位置,只要乘客显示器60上的图像能够被乘客140看到。例如,乘客显示器60可以被布置在交通工具120的前排座的背面上部。
接下来参照图3说明处理图像处理单元40从驾驶员图像拍摄单元10和乘客图像拍摄单元20所获得的信息的算法的实例。
从驾驶员图像拍摄单元10获得的光学信息被传输到图像处理单元40的驾驶员视线检测器42。驾驶员视线检测器42能够基于驾驶员图像拍摄单元10拍摄的光学信息,来检测驾驶员130的视线方向。特别地,例如,当眼睛的图像信息要被使用时,可以使用追踪瞳孔的运动的方法来检测视线方向。可选择地或此外,当面部图像信息要被使用时,可以使用通过识别面部的特有图像区域(例如眼睛、嘴巴和/或鼻子)来检测视线的方向的方法,或者可以使用从面部的轮廓信息来检测视线方向的方法。通过驾驶员视线检测器42检测到的驾驶员130的视线方向被传输到图像生成器43。
通过乘客图像拍摄单元20获得的光学信息被传输到乘客状况检测器41。此外,通过乘客图像拍摄单元20获得的光学信息通过图像处理单元40的乘客状况检测器41被传输到图像处理单元40的图像生成器43。举例来说,乘客状况检测器41可以基于乘客拍摄单元20拍摄的光学信息,通过图像识别,来检测乘客140的状况(例如,疲劳程度或者兴奋程度)。
特别地,举例来说,乘客140的面部被识别并且与眼睛的区域相应的图像被提取。从提取的图像依时间的变化中,检测眼睑的开合,由此计算乘客140的眨眼时间(例如,在其之内能够识别出眼睛闭合的每次眨眼的时间段)。然后,通过比较当前的眨眼时间与正常的眨眼时间,乘客140的疲劳程度(例如,极度困倦)可以被检测到。此外或可选择地,通过识别乘客140的手臂和/或腿部的运动,并且比较识别的手臂和/或腿部的运动与正常的手臂和/或腿部的运动,乘客140的兴奋程度(例如,被激怒)可以被检测到。乘客状况检测器41检测到的乘客140的状况被传输到图像处理单元40的图像生成器43。
注意,乘客140的正常状态,乘客140在驾驶开始时的状况可以被使用,或者从过去的历史记录等中估计出的值可以被使用。可选择地或此外,正常状态的数据可以被预先存储在,例如,ROM中。
图4是举例说明当驾驶员图像拍摄单元10是立体相机时的硬件配置的示意图。当驾驶员图像拍摄单元10是立体相机时,驾驶员图像拍摄单元10可以包括第一相机单元12和第二相机单元13。第一相机单元12和第二相机单元13中的一个用于左眼,另一个用于右眼。当第一相机单元12和第二相机单元13被平行布置时,利用第一相机单元12和第二相机单元13之间的视差信息可以获得所拍摄的目标的深度信息。也就是,可以获得拍摄的目标的三维信息。例如,第一相机单元12和第二相机单元13被布置成基本彼此平行。第一相机单元12可以包括透镜12a;图像传感器12b;和传感器控制器12c。同样地,第二相机单元13可以包括透镜13a;图像传感器13b;和传感器控制器13c。
对于图像传感器12b和13b中的每一个,可以使用例如电荷耦合装置(CCD)或互补金属氧化物半导体装置(CMOS)之类的图像传感器。传感器控制器12c可以包括执行图像传感器12b的曝光控制;图像读取控制;与外部电路通信以及图像数据传输控制的功能。类似地,传感器控制器13c可以包括执行图像传感器13b的曝光控制;图像读取控制;与外部电路通信以及图像数据传输控制的功能。传感器控制器12c和13c中的每一个可以包括CPU、ROM等等。
驾驶员图像拍摄单元10能够通过例如数据总线或串行总线连接到图像处理单元40。图像处理单元40能够基于从驾驶员图像拍摄单元10获得的光学信息生成亮度图像和视差图像。此外,图像处理单元40能够通过执行诸如环境识别处理的各种处理来识别目标。
图像处理单元40的部分或者全部功能可以被包含在驾驶员图像拍摄单元10中。即,对于驾驶员图像拍摄单元10,可以使用在相同的外壳中装载CPU等等的配置,由此图像处理得以执行。注意,当前向图像拍摄单元15是立体相机时,可以使用与图4相同的硬件配置。类似地,当乘客图像拍摄单元20是立体相机时,可以使用与图4相同的硬件配置。
再次参照图3,图像处理单元40的图像生成器43可以生成显示乘客140的状况的图像,并且图像生成器43可以向图像显示单元50发送产生的图像。在将图像与驾驶员130的视野叠加的同时,图像显示单元50可以显示图像生成器43产生的图像。
当图像生成器43能够例如通过来自乘客状况检测器41的信息识别出乘客140困倦时,图像生成器43可以生成通过向乘客图像拍摄单元20拍摄的乘客140的图像添加文本“困倦(sleepy)”所获得的图像,并且图像生成器43可以向图像显示单元50发送产生的图像。注意,图像显示单元50不仅可以显示乘客140的图像,而且可以显示包括乘客140的整个后座的图像。
图像生成器43可以基于由驾驶员视线检测器42检测到的驾驶员130的视线方向的变化,判断产生的图像是否要作为中断图像被图像显示单元50显示。例如,在不熟悉的区域中驾驶的过程中,在交通工具之间的距离短的情形中,或在有许多驾驶员130需要警惕的物体的情形中,驾驶员130的注意力可能分散。这样,视线的轨迹可能比较复杂,并且移动范围可能扩大。
当图像生成器43识别出驾驶员视线检测器42检测到的驾驶员130的视线的方向以复杂的方式移动时,和/或当图像生成器43识别出驾驶员130的视线的移动范围扩大时,图像生成器43可以不必向图像显示单元50发送产生的图像,以便驾驶员130可以集中精力驾驶。图像生成器43可以基于从前向图像拍摄单元15获得的信息,判断产生的图像是否要被发送至图像显示单元50。
当图像生成器43识别出驾驶员视线检测器42检测到的驾驶员130的视线方向稳定时,图像生成器43可以向图像显示单元50发送产生的图像。用这样的方式,图像显示单元50可以显示与驾驶员130的视野重叠的图像。然而,在确定的条件中,例如上面描述的条件,图像显示单元50可以不必显示与驾驶员130的视野重叠的图像。
作为检测视线的方向来判断是否显示图像的方法,举例来说,可以使用检测瞳孔,并且从瞳孔的位置和眼睛的位置中实时检测视线的方向的方法(例如参考日本未经审查的第2003-15816号专利公报)。
此外或可选择地,可以使用其他检测视线方向的方法。在该方法中,包含虹膜轮廓上的点的平面的法线方向是从眼睛轮廓的三维坐标获得的,并且虹膜的中心同时被获得。然后,方法在包含虹膜轮廓上的点的平面的法线中检测通过虹膜的中心的线作为视线方向(例如参考日本未经审查的第2004-255074号专利公报)。
此外或可选择地,可以使用其他检测视线方向的方法。在该方法中,计算出面部的中心的三维位置作为参考位置。同时,计算出左边瞳孔的中心和右边瞳孔的中心之间横向的中心点的三维位置作为特征位置。方法基于特征位置相对于参考位置的移位量检测视线方向(例如参考WO2008/007781)。可选择地或此外,与此处举例说明的方法不同的方法也可以被用作检测视线方向的方法。
注意,在不熟悉的区域中驾驶的情形中,在交通工具之间的距离短的情形中,或者在有许多驾驶员130需要警惕的物体的情形中,可以通过其他方法确定。
在不熟悉的区域中驾驶的情形中,图像生成器43可以不必向图像显示单元50发送产生的图像(即,图像显示单元可以不必显示图像)。关于当前位置是否是不熟悉的区域的判断,可以通过存储过去已经去过的区域的位置信息并判断当前位置是过去没有去过的位置来实现。可选择地,驾驶员130可以被允许通过利用开关来选择当前位置是否是不熟悉的区域。
可选择地或此外,在交通工具之间的距离短的情形中,图像生成器43可以不必向图像显示单元50发送产生的图像(即,图像显示单元可以不必显示图像)。关于交通工具之间的距离是否过短的判断,可以根据图1的前向图像拍摄单元15识别在前的交通工具并且前向图像拍摄单元15测量在前的交通工具和交通工具120之间的距离的结果,判断交通工具120与在前的交通工具之间的距离是否大于阈值来实现。注意,代替通过前向图像拍摄单元15测量距离,可以使用毫米波雷达或者激光雷达来测量距离。
可选择地或此外,在有许多驾驶员130需要警惕的物体的情形中,图像生成器43可以不必向图像显示单元50发送产生的图像(即,图像显示单元可以不必显示图像)。关于是否有许多驾驶员130需要警惕的物体的判断,可以通过,根据前向图像拍摄单元15识别出例如在前的交通工具和/或行人的驾驶员130需要警惕的物体的结果,判断在交通工具120的驾驶期间驾驶员130需要警惕的物体的数目是否大于阈值来实现。
这些步骤可以组合,例如,可以使用如图5所示的流程。即,在步骤S501中,图像生成器43生成图像。随后在步骤S502中,图像生成器43判断驾驶员130是否在不熟悉的区域中驾驶。当步骤S502中判定驾驶员130是在不熟悉的区域中驾驶时,处理进行到步骤S507,图像生成器43不向图像显示单元50发送产生的图像。由此,图像显示单元50不显示图像。
当步骤S502判定驾驶员130不是在不熟悉的区域中驾驶时,处理进行到步骤S503,图像生成器43判断交通工具之间的距离是否过短。然后,当步骤S503中判断交通工具之间的距离过短时,处理进行到步骤S507,图像生成器43不向图像显示单元50发送产生的图像。由此,图像显示单元50不显示图像。
当步骤S503中判定交通工具之间的距离不是过短时,处理进行到步骤S504,图像生成器43判断是否有许多驾驶员130需要警惕的物体。然后,当步骤504中判定有许多驾驶员130需要警惕的物体时,处理进行到步骤S507,图像生成器43不向图像显示单元50发送产生的图像。由此,图像显示单元50不显示图像。
当步骤S504中判定没有那么多驾驶员130需要警惕的物体时,处理进行到步骤S505,图像生成器43判断驾驶员130的视线方向是否以复杂的方式移动,并且图像生成器43判断驾驶员的视线方向是否在大范围的移动。然后,当步骤S505中判定驾驶员的视线方向是以复杂的方式移动,或者驾驶员的视线方向是大范围的移动时,处理进行到步骤S507,并且图像生成器43不向图像显示单元50发送产生的图像。由此,图像显示单元50不显示图像。
当步骤S505中判定驾驶员的视线方向不是以复杂的方式移动,或者驾驶员的视线方向不是大范围的移动时,处理进行到步骤S506,并且图像生成器43向图像显示单元50发送产生的图像。由此,图像显示单元50显示图像。
此外或可选择地,当图像生成器43基于乘客状况检测器41的信息识别乘客140的状况没有异常(即,不疲劳或者不兴奋)时,图像生成器43可以不向图像显示单元50发送产生的图像。在这种情况下,图像显示单元50不显示乘客140的状况,并且图像显示单元50可以优选地显示对于驾驶交通工具120可能是必需的信息,例如交通工具速度或者通知。通过这些特征,可以防止图像显示单元50对乘客140的状况的显示变为安全驾驶的阻碍因素。
通过图像生成器43产生的图像可以被显示在考虑到由驾驶员视线检测器42检测到的驾驶员130的视野的位置。即,当通过图像生成器43产生的图像被显示在驾驶员130的视线方向的中心时,图像有可能妨碍驾驶员130的安全驾驶。这样,通过图像生成器43产生的图像可以优选地被显示在驾驶员130的视野内并且不是驾驶员130的视线方向的中心的位置。用这样的方式,可以确保驾驶员130的安全驾驶。
注意,图像生成器43可以按照原样生成乘客图像拍摄单元20拍摄的图像,并且图像生成器43可以向图像显示单元50发送产生的图像。在这种情况下,文本等可以不被显示,并且只有乘客140的图像可以通过图像显示单元50被显示在驾驶员130的视野中。
可选择地,图像生成器43可以生成仅包含文本等的图像,并且图像生成器43可以向图像显示单元50发送产生的图像。在这种情况下,乘客140的图像可以不被显示,并且仅包含文本等的图像可以通过图像显示单元50被显示在驾驶员130的视野中。
即,通过图像生成器43产生的表示乘客140的状况的图像可以是仅包含乘客140的图像的图像;仅包含表示乘客140的状况的文本等的图像;或者通过向乘客140的图像添加表示乘客140的状况的文本等所获得的图像。
驾驶员图像拍摄单元10拍摄的驾驶员130的图像可以通过乘客显示器60显示。乘客140可以通过乘客显示器60显示的图像观看驾驶员130的面部和身体。这样,乘客140由于被单独拍摄而引起的紧张感可以被去除,乘客140可以通过驾驶员130的存在获得的安全感。此外,驾驶员130可以观看与驾驶员130的视野叠加的并显示在驾驶员130的视野中的乘客140的图像,并且乘客140可以观看乘客显示器60显示的驾驶员130的图像。这样,驾驶员130和乘客140看着彼此的脸时可以舒适地互相交流。
图6展示的是通过根据实施例的显示装置1显示的图像的实例的示意图。在图6的实例中,除交通工具速度的指示201之外,乘客140的图像202被显示在驾驶员130的视野中。如上,除图像202之外或可选择地,表示乘客140的状况的文本等可以被显示。注意,通常,显示图像的区域布置在前挡风玻璃的下半部,以使得图像不妨碍驾驶员130的驾驶。然而,如上,显示图像的区域可以基于驾驶员130的视线被适当地改变。
用这样的方式,当将信息与驾驶员130的视野进行叠加时,根据实施例的图像显示装置1可以在前面乘客席或者在后座显示关于乘客140的信息(例如,乘客140的实际的面部和身体的图像,或者表示乘客140的状况的文本等)。用这样的结构,驾驶员130几乎不用移动驾驶员130的视野,即,几乎不用降低安全性,就可以获得关于乘客140的信息。也就是说,可以实现驾驶员130的安全驾驶以及与乘客140的顺畅交流两者。
通过实施例阐释显示装置和交通工具。然而,本发明不局限于上述实施例,不脱离权利要求书的范围可以进行的各种变化和修改。
例如,图像生成器43可以生成如下文描述的图像。当图像生成器43基于来自乘客状况检测器41的信息识别出作为乘客140的儿童触摸交通工具120的门锁或者儿童正站立在座位上时,图像生成器43可以生成通过向乘客140的图像添加文本“危险(danger)”所获得的图像。此外,当图像生成器43识别出儿童的身体状况不是很好时,图像生成器43可以生成通过向乘客140的图像添加文本“身体状况不好(bad physical condition)”所获得的图像。可选择地,在这些情形中,图像生成器43可以生成只包含文本的图像。
上述乘客140的状况的检测可以利用诸如乘客图像拍摄单元20的相机通过图像识别来执行。然而,注意,上述乘客140的状况的检测可以通过各种方法实现,例如通过汗液传感器来检测坐在乘客席的人的排汗量的方法,或者通过脉搏传感器来检测坐在乘客席的人的脉搏的方法(例如,参考日本未经审查的第2014-92965号专利公报)。
交通工具120不局限于的私人交通工具。例如,交通工具120可以是出租车。当交通工具120是出租车时,通过在显示单元50上显示乘客(即,乘客140)的状况,乘客的状况可以被传送给出租汽车司机(即,驾驶员130)。
此外,显示装置1可以只有在驾驶员130指示显示装置1运行时运行。例如,当驾驶员130按压设置在方向盘附近的开关时,显示装置1被激活;乘客图像拍摄单元20可以拍摄乘客的图像;图像生成器43可以生成预定图像;并且预定图像可以被叠加并显示在驾驶员130的视野中。换句话说,只有当驾驶员130需要知道乘客140的状况时,显示装置1才可以运行。
上述实施例中,示出了使用三个激光器的图像显示单元50的实例。然而,实施例不限于此。例如,可以考虑使用单个激光器和形成单色图像的结构。在这种情况下,可以不需要合成光学元件。
本申请基于并要求2014年5月16日提交的第2014-102093号日本专利申请以及2015年3月24日提交的第2015-061053号日本专利申请的优先权利益。
参考数字描述
10:驾驶员图像拍摄单元
12:第一相机单元
12A,13A:透镜
12B,13B:图像传感器
12C,13C:传感器控制器
13:第二相机单元
15:前向图像拍摄单元
20:乘客图像拍摄单元
40:图像处理单元
41:乘客状况检测器
42:驾驶员视线检测器
43:图像生成器
50:图像显示单元
51:光源
52:光偏转器
53:第一反射镜
54:扫描面
55:第二反射镜
59:半透半反镜
60:乘客显示器
110:虚拟图像
120:交通工具
125:前挡风玻璃
130:驾驶员
135:眼球
140:乘客
201:交通工具速度的指示
202:乘客的图像
【专利文献】
专利文献1:日本未经审查的第2003-104132号专利公报
专利文献2:日本未经审查的第2003-237466号专利公报
权利要求书(按照条约第19条的修改)
1.一种显示装置,其特征在于,包括:
乘客图像拍摄单元,所述乘客图像拍摄单元被配置为拍摄与交通工具的驾驶员一起乘坐在所述交通工具中的乘客的信息;
图像生成器,所述图像生成器被配置为基于所述乘客图像拍摄单元拍摄的信息,生成表示所述乘客的状况的图像;
图像显示单元,所述图像显示单元被配置为将所述图像与所述驾驶员的视野叠加,并且被配置为在所述驾驶员的所述视野中显示所述图像;以及
乘客状况检测器,所述乘客状况检测器被配置为检测所述乘客的所述状况,
其中所述图像生成器被配置为基于所述乘客图像拍摄单元拍摄的所述信息和从所述乘客状况检测器获得的信息,生成所述图像。
2.根据权利要求1所述的显示装置,其特征在于,
所述乘客状况检测器被配置为基于所述乘客图像拍摄单元拍摄的所述信息,检测所述乘客的所述状况。
3.根据权利要求1或2所述的显示装置,其特征在于,
所述图像包含基于从所述乘客状况检测器获得的所述信息产生的文本。
4.根据权利要求1-3的任意一项所述的显示装置,其特征在于,进一步包括:
驾驶员图像拍摄单元,所述驾驶员图像拍摄单元被配置为拍摄所述驾驶员的信息;以及
驾驶员视线检测器,所述驾驶员视线检测器被配置为基于所述驾驶员图像拍摄单元拍摄的所述信息,检测所述驾驶员的视线方向,
其中所述显示装置被配置为基于所述驾驶员的所述视线方向的变化,判断所述图像是否要被显示。
5.根据权利要求4所述的显示装置,其特征在于,
所述显示装置被配置为在考虑到所述驾驶员的所述视线方向的位置显示所述图像。
6.根据权利要求4或5所述的显示装置,其特征在于,
所述乘客图像拍摄单元具有比所述驾驶员图像拍摄单元的视角宽的视角。
7.根据权利要求6所述的显示装置,其特征在于,
所述乘客在所述交通工具的后座,并且
所述乘客图像拍摄单元被配置为拍摄包含所述乘客的所述后座的整体的图像。
8.根据权利要求4-7的任意一项所述的显示装置,其特征在于,进一步包括:
乘客显示器,
所述显示装置被配置为在所述乘客显示器上显示所述驾驶员图像拍摄单元拍摄的图像。
9.根据权利要求1-8的任意一项所述的显示装置,其特征在于,
所述图像显示单元被配置为在预定条件下,不显示与所述驾驶员的所述视野重叠的所述图像。
10.根据权利要求9所述的显示装置,其特征在于,
当所述驾驶员的所述视线方向以复杂的方式移动时,或当所述驾驶员的所述视线方向大范围移动时,所述图像显示单元被配置为不显示与所述驾驶员的所述视野重叠的所述图像。
11.根据权利要求10所述的显示装置,其特征在于,进一步包括:
距离测量单元,所述距离测量单元被配置为测量所述交通工具和在所述交通工具前方的另一交通工具之间的距离,
其中,响应于来自所述距离测量单元的测量结果的所述距离短的判断,所述图像显示单元被配置为避免显示与所述驾驶员的所述视野叠加的所述图像。
12.根据权利要求1-11的任意一项所述的显示装置,其特征在于,
所述图像显示单元包含激光源和光偏转器,所述光偏转器被配置为使所述激光源发出激光束偏转。
13.一种交通工具,其特征在于,包括:
根据权利要求1-12的任意一项所述的显示装置。