Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020107997 - APPAREIL D'IMAGERIE ET DISPOSITIF ÉLECTRONIQUE

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

附图

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18  

说明书

发明名称 : 成像装置和电子设备

[0001]
优先权信息
[0002]
本申请请求2018年11月26日向中国国家知识产权局提交的、专利申请号为201811417730.6的专利申请的优先权和权益,并且通过参照将其全文并入此处。

技术领域

[0003]
本申请涉及成像技术领域,特别涉及一种成像装置和电子设备。

背景技术

[0004]
现有的阵列相机一般是使用多个传统摄像头在空间上以一定规则排布,成像时多个传统摄像头均拍摄一张图像,最终通过对多张图像的拼接和融合实现高分辨率图像的获取。
[0005]
发明内容
[0006]
本申请的实施例提供了一种成像装置和电子设备。
[0007]
本申请实施方式的成像装置包括微透镜阵列结构和多个感光像素,所述微透镜阵列结构覆盖多个感光像素集合,每个所述感光像素集合包括多个所述感光像素,每个所述感光像素集合中的多个感光像素接收穿过所述微透镜阵列结构入射的光线以输出多张元图像;所述成像装置还包括处理器,所述处理器用于:融合多张所述元图像得到合并图像;根据至少两张所述元图像计算场景的深度信息;根据所述深度信息对所述合并图像做预定处理。
[0008]
本申请实施方式的电子设备包括壳体和成像装置。所述成像装置安装在所述壳体上。成像装置包括微透镜阵列结构和多个感光像素,所述微透镜阵列结构覆盖多个感光像素集合,每个所述感光像素集合包括多个所述感光像素,每个所述感光像素集合中的多个感光像素接收穿过所述微透镜阵列结构入射的光线以输出多张元图像;所述成像装置还包括处理器,所述处理器用于:融合多张所述元图像得到合并图像;根据至少两张所述元图像计算场景的深度信息;根据所述深度信息对所述合并图像做预定处理。
[0009]
本申请实施方式的电子设备包括壳体、成像装置和处理器。所述成像装置包括微透镜阵列结构和多个感光像素,所述微透镜阵列结构覆盖多个感光像素集合,每个所述感光像素集合包括多个所述感光像素,每个所述感光像素集合中的多个感光像素接收穿过所述微透镜阵列结构入射的光线以输出多张元图像。所述处理器用于:融合多张所述元图像得到合并图像、根据至少两张所述元图像计算场景的深度信息、及根据所述深度信息对所述合并图像做预定处理。
[0010]
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

附图说明

[0011]
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
[0012]
图1和图2是本申请某些实施方式的电子设备的立体结构示意图。
[0013]
图3是本申请某些实施方式的成像装置的部分立体结构示意图。
[0014]
图4是图3中的成像装置沿IV-IV线的部分截面示意图。
[0015]
图5是本申请某些实施方式的成像装置的部分截面示意图。
[0016]
图6是本申请某些实施方式的元图像拼接的场景示意图。
[0017]
图7是本申请某些实施方式的深度信息计算的场景示意图。
[0018]
图8是本申请某些实施方式的微透镜阵列结构的立体组装示意图。
[0019]
图9是图8中的微透镜阵列结构沿IX-IX线的截面示意图。
[0020]
图10是本申请某些实施方式的微透镜阵列结构的分解示意图。
[0021]
图11是本申请某些实施方式的微透镜阵列结构的立体组装示意图。
[0022]
图12是图11中的微透镜阵列结构沿XII-XII线的截面示意图。
[0023]
图13是本申请某些实施方式的微透镜阵列结构的立体组装示意图。
[0024]
图14是图13中的微透镜阵列结构沿XIV-XIV线的截面示意图。
[0025]
图15是本申请某些实施方式的微透镜阵列结构沿与图8中IX-IX线对应位置截得的截面示意图。
[0026]
图16是本申请某些实施方式的微透镜阵列结构的立体组装示意图。
[0027]
图17是本申请某些实施方式的微透镜阵列结构的立体组装示意图。
[0028]
图18是本申请某些实施方式的电子设备的模块示意图。

具体实施方式

[0029]
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
[0030]
在本申请中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
[0031]
请参阅图3和图18,本申请提供一种成像装置100。成像装置100包括微透镜阵列结构10和多个感光像素20。微透镜阵列结构10覆盖多个感光像素集合,每个感光像素集合包括多个感光像素20,每个感光像素集合中的多个感光像素20接收穿过微透镜阵列结构10入射的光线以输出多张元图像。成像装置100还包括处理器50,处理器50用于:融合多张元图像得到合并图像;根据至少两张元图像计算场景的深度信息;根据深度信息对合并图像做预定处理。
[0032]
请参阅图18,在某些实施方式中,处理器50还用于:选取两张元图像,一张元图像作为基准元图像,另一张元图像作为待匹配元图像;将基准元图像划分为多张块图像,并从多张块图像中选取一张块图像作为基准块图像;在待匹配元图像中寻找与基准块图像匹配的匹配块图像以形成匹配图像对;循环执行上述划分步骤及上述寻找步骤以遍历基准元图像中的多张块图像,得到多个匹配图像对;融合每个匹配图像对中的基准块图像和匹配块图像得到融合子图像,并拼接多张融合子图像以获取拼接子图像;将拼接子图像作为新的基准元图像,从剩余的多张元图像中选取一张元图像作为新的待匹配元图像,并循环执行上述将基准元图像划分为多张块图像的步骤至获取拼接子图像的步骤以融合得到合并图像,其中,循环执行将基准元图像划分为多张块图像的步骤时是以前一次的拼接子图像作为基准元图像。
[0033]
请参阅图18,在某些实施方式中,处理器50还用于:将多张元图像划分为基准图像集合和待匹配图像集合,基准图像集合中包括多张元图像,待匹配图像集合中包括多张元图像;从基准图像集合中选取一张元图像作为基准元图像,从待匹配图像集合中选取一张元图像作为待匹配元图像;将基准元图像划分为多张块图像,并从多张块图像中选取一张块图像作为基准块图像;在待匹配元图像中寻找与基准块图像匹配的匹配块图像以形成匹配图像对;根据匹配图像对中的基准块图像和匹配块图像的视差计算深度信息;循环执行划分步骤、寻找步骤及计算步骤以遍历基准元图像中的多张块图像,以获取多个深度信息;循环执行上述从基准图像集合中选取一张元图像作为基准元图像的步骤至获取多个深度信息的步骤以遍历基准图像集合中的多张元图像,得到多个深度信息。
[0034]
请参阅图18,在某些实施方式中,处理器50还用于:根据深度信息确定合并图像的前景区域和背景区域;根据深度信息对背景区域做虚化处理。
[0035]
请参阅图18,在某些实施方式中,处理器50还用于:根据用户输入确定合并图像的待对焦区域;根据深度信息对合并图像的除待对焦区域外的区域做虚化处理。
[0036]
请参阅图3和图4,在某些实施方式中,相邻两个感光像素集合之间设置有间隔壁40。
[0037]
请参阅图3至图5,在某些实施方式中,微透镜阵列结构10包括多个微透镜101,每个微透镜101覆盖一个感光像素集合。成像装置100还包括衬底30,多个感光像素20形成在衬底30上,衬底30的与感光像素20接触的面为曲面结构。
[0038]
请参阅图5,在某些实施方式中,至少两个微透101具有不同的曲率半径。
[0039]
请参阅图8和图9,在某些实施方式中,微透镜阵列结构10包括第一透镜阵列12和第二透镜阵列14。第一透镜阵列包括多个第一凸台126,多个第一凸台126沿第一方向排列。第二透镜阵列14包括多 个第二凸台146,多个第二凸台146沿第二方向排列。第一凸台126与第二凸台146在第三方向上交叠形成微透镜阵列结构10。第一方向与第二方向相交,第三方向垂直于第一方向和第二方向。
[0040]
请参阅图8和图9,在某些实施方式中,第一透镜阵列12包括相背的第一平坦面122和第一凸起面124,多个第一凸台126形成第一凸起面124。第二透镜阵列14包括相背的第二平坦面142和第二凸起面144,多个第二凸台146形成第二凸起面144。第一平坦面142和第二平坦面144均为曲面结构。
[0041]
请参阅图3和图18,本申请提供一种电子设备1000。电子设备1000包括壳体400和成像装置100。成像装置100包括微透镜阵列结构10和多个感光像素20。微透镜阵列结构10覆盖多个感光像素集合,每个感光像素集合包括多个感光像素20,每个感光像素集合中的多个感光像素20接收穿过微透镜阵列结构10入射的光线以输出多张元图像。成像装置100还包括处理器50,处理器50用于:融合多张元图像得到合并图像;根据至少两张元图像计算场景的深度信息;根据深度信息对合并图像做预定处理。
[0042]
请参阅图1和图3,本申请提供一种电子设备1000。电子设备1000包括壳体400、成像装置100和处理器300。成像装置100包括微透镜阵列结构10和多个感光像素20。微透镜阵列结构10覆盖多个感光像素集合,每个感光像素集合包括多个感光像素20,每个感光像素集合中的多个感光像素20接收穿过微透镜阵列结构10入射的光线以输出多张元图像。处理器300用于:融合多张元图像得到合并图像;根据至少两张元图像计算场景的深度信息;根据深度信息对合并图像做预定处理。
[0043]
请参阅图1,本申请提供一种电子设备1000。电子设备1000包括壳体400、成像装置100和处理器300。成像装置100设置在壳体400上。其中,电子设备1000可以是手机、平板电脑、游戏机、智能手表、智能手环、头显设备、无人机等。本申请实施方式以电子设备1000为手机为例进行说明,可以理解,电子设备1000的具体形式不限于手机。
[0044]
壳体400可以作为电子设备1000的功能元件的安装载体。壳体400可以为功能元件提供防尘、防摔、防水等保护。功能元件可以是显示屏200、接近传感器、受话器等。在本申请的实施例中,壳体400包括主体401及可动支架402,可动支架402在驱动装置的驱动下可以相对于主体401运动,例如,可动支架402可以相对于主体401滑动,以滑入主体401(如图2所示)或从主体401滑出(如图1所示)。部分功能元件(例如显示屏200)可以安装在主体401上,另一部分功能元件(如成像装置100、受话器、接近传感器等)可以安装在可动支架402上。可动支架402运动可带动该另一部分功能元件缩回主体401内或从主体401伸出。当然,图1和图2仅仅是对壳体400的一种具体形式的举例,不能理解为对本申请的壳体400的限制。
[0045]
成像装置100安装在壳体400上时,壳体400上可以开设有采集窗口,成像装置100与采集窗口对准安装以接收经采集窗口入射的光线。在申请的具体实施例中,成像装置100安装在可动支架402上。用户在需要使用成像装置100时,可以触发可动支架402从主体401中滑出以带动成像装置100从主体401中伸出;在用户不需要使用成像装置100时,可以触发可动支架402滑入主体401以带动成像装置100缩回主体401中。
[0046]
请参阅图3,成像装置100包括依次设置的衬底30、多个感光像素20、微透镜阵列结构10及间隔壁40。衬底30包括相背的顶面31和底面32,多个感光像素20形成在衬底30的顶面31上。微透镜阵列结构10安装在感光像素20的收光面所在一侧。多个感光像素20可以接收穿过微透镜阵列结构10后入射的光线。
[0047]
在一个例子中,如图4所示,衬底30的顶面31和底面32均为平面结构,多个感光像素20分布在平面结构的顶面31上,呈平面型排列,微透镜阵列结构10设置在感光像素20的收光面所在一侧,也呈平面型排列。顶面31为平面结构时,衬底30的厚度较小,进一步地可以减小成像装置100的高度,有利于成像装置100集成到对厚度有较高要求的电子设备1000,如手机、平板电脑等中。在另一个例子中,如图5所示,衬底30的底面32为平面结构,顶面31为曲面结构,多个感光像素20分布在曲面结构的顶面31上,呈曲面型排列,微透镜阵列结构10设置在感光像素20的收光面所在一侧,也呈曲面型排列。多个感光像素20和微透镜阵列结构10呈曲面型排列可以增大成像装置100的视场角,成像装置100可以拍摄到场景中的更多物体。
[0048]
形成在衬底30的顶面31上的所有感光像素20划分为多个感光像素集合,每个感光像素集合中包括多个感光像素20。在一个例子中,每个感光像素集合可以包括70×70个感光像素20。当然,70×70的数量仅为示例,在其他例子中,每个感光像素集合中还可以包括60×60、80×80、100×100个感光像素 20等等,在此不做限制。每个感光像素集合中的感光像素20的数量越多,对应形成的元图像的分辨率越高。多个感光像素集合可以呈横向排列、纵向排列、“田”字形排列等。
[0049]
微透镜阵列结构10覆盖多个感光像素集合。每个感光像素集合中的多个感光像素20可以接收穿过微透镜阵列结构10后入射的光线以输出对应该感光像素集合的一张元图像。如此,多个感光像素集合可以输出多张元图像。
[0050]
在一个例子中,微透镜阵列结构10包括多个微透镜101,每个微透镜101覆盖一个感光像素集合。具体地,多个微透镜101为彼此独立的结构,每个微透镜101安装在靠近对应的感光像素集合中的多个感光像素20的收光面的一侧。场景中的光线穿过微透镜101后入射到对应的感光像素集合中的多个感光像素20上,以使多个感光像素20接收光线并对应输出多个电信号,同一感光像素集合中的多个感光像素20输出的多个电信号形成一张元图像。
[0051]
其中,如图4所示,多个微透镜101可以具有相同的曲率半径,此时,多个微透镜101具有相同的焦距。成像装置100成像时,多个感光像素集合中的多个感光像素20对于场景中能够清晰成像的物体的距离是一致的。也即是说,假设微透镜101个数的数量为N,分别为L 1、L 2、L 3…L N,对应的感光像素集合的数量也为N,分别为感光像素集合S 1、S 2、S 3…S N。若感光像素集合S 1能够对场景中的与成像装置100距离D(D可以是一个具体数值或者是一个数值范围)的物体清晰成像,则感光像素集合S 2、S 3…S N也能够对场景中的与成像装置100距离D的物体清晰成像。实际使用中,可以选择曲率半径较小的微透镜101以使得微透镜101的焦距较小,以获得较大的景深,从而可以对场景中的大多数物体清晰成像。
[0052]
或者,如图5所示,多个微透镜101可以具有不同的曲率半径,其中,至少两个微透镜101具有不同的曲率半径。具体地,例如,微透镜L 1至微透镜L N-1具有相同的曲率半径,微透镜L N的曲率半径与微透镜L 1的曲率半径不同;或者,微透镜L 1至微透镜L N-2具有相同的曲率半径,微透镜L N-1的曲率半径与微透镜L 1的曲率半径不同,微透镜L N的曲率半径与微透镜L 1及微透镜L N-1的曲率半径均不同;或者,任意两个微透镜101的曲率半径均不同等等。实际使用中,位于衬底30的中心位置处的微透镜101具有较小的曲率半径,位于衬底30的周缘位置处的微透镜101具有较大的曲率半径。如此,位于衬底30中心位置处的微透镜101的焦距较小,可以对与成像装置100距离较近的物体清晰成像,位于周缘位置处的微透镜101的焦距较大,可以对与成像装置100距离较远的物体清晰成像。可以理解,成像装置100成像时,主体一般位于成像装置100的视场中心,且与成像装置100的距离较近,而背景物体一般位于视场的周缘位置,且与成像装置100的距离较远,位于衬底30中心位置处的焦距较小的微透镜101可以对主体401清晰成像,位于衬底30周缘位置处的焦距较大的微透镜101可以对背景物体清晰成像,如此,可以提升每张元图像的清晰度。
[0053]
任意两个感光像素集合中的感光像素20的邻接处均设置有间隔壁40。例如,如图4所示,微透镜L 1覆盖感光像素集合S 1,微透镜L 2覆盖感光像素集合S 2,感光像素集合S 1的感光像素20与感光像素集合S 2的感光像素20的邻接处设置有间隔壁40。间隔壁40可以防止穿过微透镜L 1的光线入射到感光像素集合S 2中,同时防止穿过微透镜L 2的光线入射到感光像素集合S 1中,如此,可以避免穿过微透镜L 1的光线入射到感光像素集合S 2后使得感光像素集合S 2输出的元图像中产生类似炫光像的图像的问题,也可以避免穿过微透镜L 2的光线入射到感光像素集合S 1后使得感光像素集合S 1输出的元图像中产生类似炫光像的图像的问题。进一步地,可以在间隔壁40的表面涂覆有能够吸收可见光的涂层,以此避免位于感光像素集合S 1视场外的高亮物体(如光源、太阳、高反射率物体等)的光线穿过微透镜L 1入射到接近间隔壁40的位置时被间隔壁40反射,从而导致感光像素集合S 1输出的元图像中产生炫光像的问题,也可避免位于感光像素集合S 2视场外的高亮物体的光线穿过微透镜L 2入射到接近间隔壁40的位置时被间隔壁40反射,从而导致感光像素集合S 2输出的元图像中产生炫光像的问题。
[0054]
请参阅图1和图3,电子设备1000还包括处理器300。处理器300安装在壳体400内。处理器300与成像装置100电连接,处理器300可以用于控制多个感光像素20曝光以接收穿过微透镜阵列结构10的光线,并接收每个感光像素20输出的电信号以形成与多个感光像素集合一一对应的元图像。处理器300还可以用于融合多张元图像得到合并图像、根据至少两张元图像计算场景的深度信息、以及根据深度信息对合并图像做预定处理。
[0055]
在一个例子中,处理器300用于融合多张元图像得到合并图像时,处理器300实际上执行以下操作: 选取两张元图像,一张元图像作为基准元图像,另一张元图像作为待匹配元图像;将基准元图像划分为多张块图像,并从多张块图像中选取一张块图像作为基准块图像;在待匹配元图像中寻找与基准块图像匹配的匹配块图像以形成匹配图像对;循环执行上述划分步骤及上述寻找步骤以遍历基准元图像中的多张块图像,得到多个匹配图像对;融合每个匹配图像对中的基准块图像和匹配块图像得到融合子图像,并拼接多张融合子图像以获取拼接子图像;将拼接子图像作为新的基准元图像,从剩余的多张元图像中选取一张元图像作为新的待匹配元图像,并循环执行上述将基准元图像划分为多张块图像的步骤至获取拼接子图像的步骤以融合得到合并图像。其中,循环执行将基准元图像划分为多张块图像的步骤时是以前一次的拼接子图像作为基准元图像。
[0056]
具体地,如图6所示,假设有N张元图像,分别为元图像P1、P2、P3…PN,则处理器300首先从N张元图像中选出两张元图像:如元图像P1和元图像P2,并将元图像P1作为基准元图像,元图像P2作为待匹配元图像。随后,处理器300将基准元图像P1划分为多张块图像,如9张块图像:块图像P1-00、块图像P1-01、块图像P1-02、块图像P1-10、块图像P1-11、块图像P1-12、块图像P1-20、块图像P1-21、块图像P1-22。随后,处理器300从9张块图像中选取一张块图像作为基准块图像,例如,选取块图像P1-00作为基准块图像。在确定基准块图像P1-00之后,处理器300在待匹配元图像P2中寻找与基准块图像P1-00匹配的匹配块图像。具体地,处理器300在待匹配元图像P2中寻找与基准块图像P1-00的位置对应的区域P2~00,并对基准块图像P1-00与区域P2~00做相关性计算,以判断区域P2~00是否为与基准块图像P1-00匹配的匹配块图像,如果相关性大于预定相关值,则确定区域P2~00为与基准块图像P1-00匹配的匹配块图像,并对区域P2~00做标记以便后续做图像融合;反之,则在待匹配元图像P2中,以区域P2~00为起始点,向x方向和/或y方向按照预定移动步距移动与基准块图像P1-00的大小相同的矩形框,每移动一次矩形框,矩形框所框出来的区域均需要与基准块图像P1-00做相关性计算,以判断矩形框所框出来的区域是否为与基准块图像P1-00匹配的匹配块图像,如果矩形框所框出来的区域为与基准块图像P1-00匹配的匹配块图像,则对矩形框框出来的区域做标记,否则,矩形框继续移动,直至遍历整张元图像P2为止。如图6所示,由于输出基准元图像P1的感光像素集合与输出待匹配元图像P2的感光像素集合的视场差异,基准块图像P1-00在待匹配元图像P2中无法找到与其匹配的匹配块图像,此时同样输出图像匹配对,但图像匹配对中仅包含基准块图像P1-00。
[0057]
在寻找完基准块图像P1-00的匹配块图像后,处理器300将基准块图像P1-00更换为块图像P1-01,并按照上述的方式寻找与基准块图像P1-01匹配的匹配块图像。如图6所示,与基准块图像P1-01匹配的匹配块图像为块图像P12-01,此时输出图像匹配对,图像匹配对包括基准块图像P1-01和匹配块图像P12-01。随后,处理器300继续更换基准块图像,并继续执行上述寻找步骤。如此循环往复,直至确定出基准元图像P1中的所有块图像的匹配块图像,并输出与块图像的数量一致的多对图像匹配对。如图6所示,元图像P1中每张块图像对应的图像匹配对分别为:“P1-00”、“P1-01=P12-01”、“P1-02=P12-02”、“P1-10”、“P1-11=P12-11”、“P1-12=P12-12”、“P1-20”、“P1-21=P12-21”、“P1-22=P12-22”。随后,处理器300对包括两张块图像的图像匹配对中的块图像做融合,具体地,对每对图像匹配对中的基准块图像和匹配块图像进行融合得到融合子图像,对于仅包括一张块图像的图像匹配对而言,该图像匹配对中的基准块图像即为融合子图像。如此,即可得到与多对图像匹配对一一对应的多张融合子图像。随后,处理器300将多张融合子图像进行拼接即可得到初始的拼接子图像。进一步地,处理器300需要截取出待匹配元图像P2中除去已与基准元图像P1相匹配的区域之外的未匹配区域,并将初始的拼接子图像与这部分未匹配区域做拼接,从而得到最终的拼接子图像Pm,其中,拼接子图像的像素个数大于基准元图像P1及待匹配元图像P2的像素个数。可以理解,未匹配区域是在基准元图像P1中无法找到与这部分区域匹配的图像,说明未匹配区域的图像是基准元图像P1没有的,这是由于输出基准元图像P1的感光像素集合和输出待匹配元图像P2的感光像素集合之间的视场差异导致的,形成拼接子图像Pm时,将未匹配区域的图像也拼接到拼接子图像Pm中可以保证成像装置100拍摄的画面的完整性。
[0058]
在形成拼接子图像Pm后,处理器300将拼接子图像Pm作为新的基准元图像,并从剩余的元图像P3、P4、P5…PN中继续挑选一张元图像作为新的待匹配元图像。随后,处理器300按照上述的基准元图像P1和待匹配元图像P2的融合拼接方式,将基准元图像Pm划分为多张块图像,并在待匹配元图像P3中寻找与基准元图像Pm中的多张块图像分别匹配的匹配块图像,再执行上述的融合和拼接过程以将基准元图像Pm和待匹配元图像P3融合拼接成一张新的拼接子图像Pm。随后,处理器300再将新的拼 接子图像Pm作为新的基准元图像,并从剩余的元图像P4、P5、P6…PN中继续挑选一张元图像作为新的待匹配元图像。如此循环往复,直至将所有元图像均融合拼接完毕为止,最终得到一张合并图像,合并图像具有较高的分辨率。
[0059]
在一个例子中,处理器300根据至少两张元图像计算场景的深度信息时,具体执行以下操作:将多张元图像划分为基准图像集合和待匹配图像集合,基准图像集合中包括多张元图像,待匹配图像集合中包括多张元图像;从基准图像集合中选取一张元图像作为基准元图像,从待匹配图像集合中选取一张元图像作为待匹配元图像;将基准元图像划分为多张块图像,并从多张块图像中选取一张块图像作为基准块图像;在待匹配元图像中寻找与基准块图像匹配的匹配块图像以形成匹配图像对;根据匹配图像对中的基准块图像和匹配块图像的视差计算所述深度信息;循环执行划分步骤、寻找步骤及计算步骤以遍历基准元图像中的多张块图像,以获取多个深度信息;循环执行上述从基准图像集合中选取一张元图像作为基准元图像的步骤至获取多个深度信息的步骤以遍历基准图像集合中的多张元图像,得到多个深度信息。
[0060]
具体地,如图7所示,假设有16张元图像,分别为元图像P1、P2、P3…P16,则处理器300将16张元图像划分为两个集合:基准图像集合和待匹配图像集合。其中,基准图像集合包括元图像P1、元图像P2、元图像P5、元图像P6、元图像P9、元图像P10、元图像P13、元图像P14;待匹配图像集合包括元图像P3、元图像P4、元图像P7、元图像P8、元图像P11、元图像P12、元图像P15、元图像P16。随后,处理器300从基准图像集合中选取一张元图像作为基准元图像,如选择元图像P1作为基准元图像,并从待匹配图像集合中选取一张元图像作为待匹配元图像,如选择元图像P3作为待匹配元图像。随后,处理器300将基准元图像P1划分为多张块图像,如9张块图像:块图像P1-00、块图像P1-01、块图像P1-02、块图像P1-10、块图像P1-11、块图像P1-12、块图像P1-20、块图像P1-21、块图像P1-22。随后,处理器300从9张块图像中选取一张块图像作为基准块图像,例如,选取块图像P1-00作为基准块图像。在确定基准块图像P1-00之后,处理器300在待匹配元图像P3中寻找与基准块图像P1-00匹配的匹配块图像。具体地,处理器300在待匹配元图像P3中寻找与基准块图像P1-00位置对应的区域P3~00,并对基准块图像P1-00与区域P3~00做相关性计算,以判断区域P3~00是否为与基准块图像P1-00匹配的匹配块图像,如果相关性大于预定相关值,则确定区域P3~00为与基准块图像P1-00匹配的匹配块图像,并对区域P3~00做标记以便后续做深度信息计算;反之,则在待匹配元图像P3中,以区域P3~00为起始点,向x方向和/或y方向按照预定移动步距移动与基准块图像P1-00的大小相同的矩形框,每移动一次矩形框,矩形框所框出来的区域均需要与基准块图像P1-00做相关性计算,以判断矩形框所框出来的区域是否为与基准块图像P1-00匹配的匹配块图像,如果矩形框所框出来的区域为与基准块图像P1-00匹配的匹配块图像,则对矩形框框出来的区域做标记,否则,矩形框继续移动,直至遍历整张元图像P3为止。如图7所示,由于输出基准元图像P1的感光像素集合与输出待匹配元图像P3的感光像素集合的视场差异,基准块图像P1-00在待匹配元图像P3中无法找到与其匹配的匹配块图像,此时同样输出图像匹配对,但图像匹配对中仅包含基准块图像P1-00。
[0061]
在寻找完基准块图像P1-00的匹配块图像后,处理器300将基准块图像P1-00更换为块图像P1-01,并按照上述的方式寻找与基准块图像P1-01匹配的匹配块图像。如图7所示,与基准块图像P1-01匹配的匹配块图像为块图像P13-01,此时输出图像匹配对,图像匹配对包括基准块图像P1-01和匹配块图像P13-01。随后,处理器300继续更换基准块图像,并继续执行上述寻找步骤。如此循环往复,直至确定出基准元图像P1中的所有块图像的匹配块图像,并输出与块图像的数量一致的多对图像匹配对。如图7所示,元图像P1中每张块图像对应的图像匹配对分别为:“P1-00”、“P1-01=P13-01”、“P1-02=P13-02”、“P1-10”、“P1-11=P13-11”、“P1-12=P13-12”、“P1-20”、“P1-21=P13-21”、“P1-22=P13-22”。随后,处理器300将包含两张元图像的图像匹配对筛选出来,并对每一对图像匹配对中的基准块图像与匹配块图像做视差计算以得到至少一个深度信息d。具体地,处理器300基于基准块图像在基准元图像P1中的坐标位置、匹配块图像在待匹配元图像P3中的坐标位置、输出基准元图像P1的感光像素集合与输出待匹配元图像P3的感光像素集合之间的位置关系来做视差计算以得到至少一个深度信息d。如此,对多对图像匹配对中的基准块图像与匹配块图像做视差计算即可得到多个深度信息d。
[0062]
随后,处理器300从基准图像集合的剩余的元图像中选取一张元图像作为新的基准元图像,如选取元图像P2作为新的基准元图像,并从待匹配图像集合的剩余的元图像中选取一张元图像作为新的待匹 配元图像,如选取元图像P4作为新的待匹配元图像。随后,处理器300按照上述的深度信息d的计算方式对基准元图像P2与待匹配元图像P4进行处理,以得到多个深度信息d。随后,处理器300从基准图像集合的剩余的元图像中选取一张元图像作为新的基准元图像,如选取元图像P5作为新的基准元图像,并从待匹配图像集合的剩余的元图像中选取一张元图像作为新的待匹配元图像,如选取元图像P7作为新的待匹配元图像。如此循环往复,直至处理器300执行完对基准元图像P14与待匹配元图像P16的深度信息d计算为止。如此,即可得到多个深度信息d,对多个深度信息d进行融合,即可得到场景的深度图像,其中,深度信息d指示场景中的各个物体与成像装置100之间的距离。
[0063]
在一个例子中,处理器300用于根据深度信息对合并图像做预定处理时,处理器300具体执行以下操作:根据深度信息确定合并图像的前景区域和背景区域;根据深度信息对背景区域做虚化处理。
[0064]
合并图像与深度图像具有一定的映射关系,合并图像中的每个像素可以在深度图像中找到对应的深度信息。在获取到场景的深度信息后,处理器300可以根据深度信息对合并图像做前景区域和背景区域的分割。具体地,在一个例子中,处理器300可以直接根据一个预设深度对合并图像做前景区域和背景区域的分割,即,将深度信息大于预设深度的像素归并为背景区域,将深度信息小于或等于预设深度的像素归并为前景区域。随后,处理器300对前景区域不做处理,或者对前景区域做适当的锐化处理。同时,处理器300对背景区域做虚化处理。处理器300虚化处理背景区域时,背景区域的所有像素可以具有相同的虚化程度。或者,处理器300虚化处理背景区域时,处理器300也可进一步对背景区域进行划分,将背景区域划分为由近及远的多个子区域,沿由近及远的方向,对子区域的虚化程度依次增大,其中,每个子区域中的多个像素具有相同的虚化程度。如此,对背景区域做不同程度虚化,可以提升最终输出的合并图像的质量。
[0065]
在另一个例子中,处理器300用于根据深度信息对合并图像做预定处理时,处理器300具体执行以下操作:根据用户输入确定合并图像的待对焦区域;根据深度信息对合并图像的除待对焦区域外的区域做虚化处理。其中,用户输入可以包括:用户在可触摸的显示屏200上点击预览的合并图像对应于显示屏200的某个位置,处理器300以该位置点为中心点,向外扩大预定大小和形状的区域以得到待对焦区域。或者,处理器300记录用户之前多次使用成像装置100时点击的显示屏200的多个位置,并将点击次数最多的位置作为默认位置,在用户未点击显示屏200时,处理器300以默认位置为中心点,向外扩大预定大小和形状的区域以得到待对焦区域。
[0066]
合并图像与深度图像具有一定的映射关系,合并图像中的每个像素可以在深度图像中找到对应的深度信息。在获取到场景的深度信息以及确定合并图像的待对焦区域后,处理器300可以对待对焦区域不做处理,或者对待对焦区域做适当的锐化处理。同时,处理器300对除待对焦区域外的区域(即,非对焦区域)做虚化处理。具体地,处理器300可以对非对焦区域中的所有像素做同一虚化程度的虚化处理。或者,处理器300还可以根据深度信息将非对焦区域进一步划分为由近及远的多个子区域,沿由近及远的方向,对子区域的虚化程度依次增大,其中,每个子区域中的多个像素具有相同的虚化程度。如此,对非对焦区域做不同程度虚化,可以提升最终输出的合并图像的质量。
[0067]
综上,本申请实施方式的成像装置100和电子设备1000中,成像装置100设置了覆盖多个感光像素集合的微透镜阵列结构10,每个感光像素集合均可以输出元图像,元图像经处理器300融合后可以得到高分辨率的合并图像。与现有的阵列相机相比,现有的阵列相机需要使用多个传统摄像头,使得阵列相机的整体尺寸较大,不利于集成在对厚度要求较高的电子设备上,并且阵列相机的成本也较高。而本申请实施方式的成像装置100无需设置多个传统的摄像头即可拍摄到分辨率较高的合并图像,成像装置100的整体尺寸较小,有利于集成在对厚度要求较高的电子设备1000上。并且,成像装置100的成本也较低,进一步地可以减小电子设备1000的制造成本。
[0068]
请参阅图8和图9,微透镜阵列结构10包括第一透镜阵列12和第二透镜阵列14。
[0069]
第一透镜阵列12包括多个第一凸台126,多个第一凸台126沿第一方向(如图8中的X轴方向)排列。每个第一凸台126均呈半圆柱形(或其他合适的形状),以实现光学聚焦效果。第一透镜阵列12包括相背的第一平坦面122和第一凸起面124(类似波浪面)。多个第一凸台126共同形成第一凸起面124。具体地,每个第一凸台126包括第一子凸起面,多个第一凸台126的多个第一子凸起面相连形成第一凸起面124。多个第一凸台126共同形成第一平坦面122。具体地,每个第一凸台126包括第一子平坦面,多个第一凸台126的多个第一子平坦面相连形成第一平坦面122。
[0070]
第二透镜阵列14包括多个第二凸台146,多个第二凸台146沿第二方向(如图8中的Y轴方向)排列。每个第二凸台146均呈半圆柱形(或其他合适的形状),以实现光学聚焦效果。第二透镜阵列14包括相背的第二平坦面142和第二凸起面144(类似波浪面)。多个第二凸台146共同形成第二凸起面144。具体地,每个第二凸台146包括第二子凸起面,多个第二凸台146的多个第二子凸起面相连形成第二凸起面144。多个第二凸台146共同第二平坦面142。具体地,每个第二凸台146包括第二子平坦面,多个第二凸台146的多个第二子平坦面相连形成第二平坦面142。
[0071]
多个第一凸台126与多个第二凸台146在第三方向(如图8中的Z轴方向)上交叠形成微透镜阵列。第一方向与第二方向相交,第三方向垂直于第一方向和第二方向。以图8为例,第一凸台126和第二凸台146的数量均为20个,即20个第一凸台126沿X轴方向排列构成1*20的第一透镜阵列12,20个第二凸台146沿Y轴方向排列构成20*1的第二透镜阵列14,20个第一凸台126与20个第二凸台146在Z轴方向交叠形成20*20的微透镜阵列。本实施方式中,第一方向与第二方向相交,第三方向垂直于第一方向和第二方向。第一方向与第二方向相交指的是第一方向与第二方向既不重合也不相互平行,它们在立体空间的投影相交,具体地可形成30度、45度、60度、75度、90度等夹角,例如图8中该夹角为90度。
[0072]
请结合图10,在制造本申请实施方式的微透镜阵列结构10时,可以先分别形成包括有多个第一凸台126的第一透镜阵列12及包括有多个第二凸台146的第二透镜阵列14,然后再将第一透镜阵列12与第二透镜阵列14组合以使多个第一凸台126与多个第二凸台146在第三方向上交叠形成微透镜阵列,微透镜阵列包括多个微透镜101,如图9中虚线所示部分,每个微透镜101由长度方向为Y方向的第一凸台126与长度方向为X方向的第二凸台146交叠形成,每个微透镜101由该第一凸台126上与该第二凸台146交叠的部分及该第二凸台146上与该第一凸台126交叠的部分组成。具体地,可以通过纳米压印技术在立方体(长方体或正方体)的整块透镜结构上形成沿第一方向排列的多个第一凸台126以作为第一透镜阵列12,多个第一凸台126依次衔接,彼此之间没有空隙,以能够形成更紧密排布的微透镜阵列,从而成像装置100能够采集更多的图像信息。第二透镜阵列14可以通过相同的方式形成,在此不重复说明。将第一透镜阵列12与第二透镜阵列14组合以使多个第一凸台126与多个第二凸台146在第三方向上交叠形成微透镜阵列可以是将第一透镜阵列12置于第二透镜阵列14上;或者将第二透镜阵列14置于第一透镜阵列12上,并使得多个第一凸台126与多个第二凸台146交错排布(例如纵横交错排布),且在第三方向上相互抵触或接触配合。本实施方式中,形成第一透镜阵列12和第二透镜阵列14所采用的材料均可以是玻璃、塑料或其他。
[0073]
微透镜阵列中的每个微透镜101均覆盖一个感光像素集合中的多个感光像素20,例如,每个微透镜101覆盖70*70个感光像素20。微透镜阵列与多个感光像素20形成的感光像素阵列对准,具体地,每个微透镜101的光轴可与多个感光像素20形成的感光像素阵列的法线重合。
[0074]
本申请实施方式的微透镜阵列结构10中,多个第一凸台126与多个第二凸台146交叠形成微透镜阵列,制造工艺简单,制作出来的微透镜阵列均匀性较好(即整齐排列,结构一致),成本较低。由于没有采用光刻加热回流的方式和模具注塑或者研磨加工的方式制作,因此不存在微透镜尺寸不能做大的问题,或是微透镜尺寸做得比较大的时候屈光度有限、一致性性较差的问题,或是精密的模具加工难度非常大的问题。
[0075]
另外,由于多个第一凸台126一体成型,多个第二凸台146一体成型,多个第一凸台126不需要通过胶水等方式固定在一起,多个第二凸台146也不需要通过胶水等方式固定在一起。当将第一透镜阵列12与第二透镜阵列14组装在一起时,多个第一凸台126之间不会发生相互偏移,多个第二凸台146之间也不会发生相互偏移,组装稳定性较高。
[0076]
再有,当将第一透镜阵列12与第二透镜阵列14组装在一起时,第一凸台126与第二凸台146之间也可以不用胶水(如光学胶)等方式进行固定,只需要将第一凸台126与第二凸台146抵触,通过成像装置100的镜筒或其他元件分别将第一透镜阵列12与第二透镜阵列14固定,整个成像装置100的安装方式较为简单。当其中一个透镜阵列例如第一透镜阵列12或是第二透镜阵列14损坏时,还可以仅将第一透镜阵列12或第二透镜阵列14拆卸下来进行更换。
[0077]
最后,微透镜阵列中每个微透镜101的焦距相同,成像装置100可作为定焦镜头(不涉及对焦),当被摄物目标处于成像装置100的有效焦距范围内,能够清晰成像,较适合作为电子设备100的前置镜 头。
[0078]
请参阅图11和图12,在一个实施例中,当第一透镜阵列12与第二透镜阵列14组合时,第一平坦面122与第二平坦面142结合。此时,第一平坦面122与第二平坦面142的结合区域能够完全的贴合在一起,结合紧密,稳定性更高,也不会有水分或杂质进入到第一透镜阵列12与第二透镜阵列14之间,有利于保证微透镜阵列结构10的使用寿命和成像装置100良好的成像品质。
[0079]
请参阅图8和图9,在一个实施例中,当第一透镜阵列12与第二透镜阵列14组合时,第一凸起面124与第二平坦面142结合。此时,微透镜阵列结构10与成像装置100的其他结构(例如镜筒、感光像素20等)组装时,第一平坦面122能够很好的安装于其他结构上。
[0080]
在一个实施例中,当第一透镜阵列12与第二透镜阵列14组合时,第一平坦面122与第二凸起面144结合(与图8和图9中第一凸起面124与第二平坦面142结合类似)。此时,微透镜阵列结构10与成像装置头100的其他结构(例如镜筒、滤光片等)组装时,第二平坦面142能够很好的安装于其他结构上。
[0081]
请参阅图13和图14,在一个实施例中,当第一透镜阵列12与第二透镜阵列14组合时,第一凸起面124与第二凸起面144结合。此时,微透镜阵列结构10与成像装置100的其他结构(例如镜筒、感光像素20、滤光片等)组装时,第一平坦面122和第二平坦面142能够很好的安装于其他结构上,且由于第一凸起面124与第二凸起面144由于没有暴露在外侧(与其他结构结合的一侧),第一凸起面124与第二凸起面144不会由于受到其他结构的磨损而影响光学聚焦效果。
[0082]
本实施方式中,第一平坦面122与第二平坦面142结合、第一平坦面122与第二凸起面144结合、第一凸起面124与第二平坦面142结合、第一凸起面124与第二凸起面144结合,能够分别实现不同的焦距和视场角。
[0083]
请参阅图8、图11和图13,上述各实施例中,第一平坦面122和第二平坦面142可以均为平面结构,此时,多个感光像素20形成的感光像素阵列也为平面结构,以便于实现微透镜阵列与感光像素阵列的对准,保证成像装置100良好的成像品质,且有利于成像装置100的组装。可以理解,平面结构是指面上任意两点的连线整个落在此面上。
[0084]
请参阅图15,上述各实施例中,第一平坦面122和第二平坦面142可以均为曲面结构,此时,多个感光像素20形成的感光像素阵列也为曲面结构,以便于实现微透镜阵列与感光像素阵列的对准,保证成像装置100良好的成像品质,且成像装置100的视场角更大,能够收集更多的光线,相较于平面结合而言体积也更小。此时,若成像装置100还包括滤光片(如用于让红外光通过的红外滤光片或用于滤除红外光的红外截止滤光片等),则滤光片也可为曲面结构,以更好的过滤光线。
[0085]
进一步地,当第一平坦面122与第二平坦面142结合时,第一平坦面122的弯曲程度与第二平坦面142的弯曲程度相同。当第一平坦面122与第二凸起面144结合时,第一平坦面122的弯曲程度与第二凸起面144的弯曲程度相同。当第一凸起面124与第二平坦面142结合时,第一凸起面124的弯曲程度与第二平坦面142的弯曲程度相同(如图15所示)。当第一凸起面124与第二凸起面144结合时,第一凸起面124的弯曲程度与第二凸起面144的弯曲程度相同。需要指出的是,凸起面的弯曲程度可以看作是凸起面外接圆弧的弯曲程度,或是每个凸台与对应的平坦面之间具有一距离最远的点,凸起面的弯曲程度为多个凸台的多个点形成的弧线的弯曲程度。
[0086]
第一平坦面122、第一凸起面124、第二平坦面142和第二凸起面144的面型可以均为非球面、球面、菲涅尔面或二元光学面中的任意一种。例如,第一平坦面122、第一凸起面124、第二平坦面142和第二凸起面144均为非球面;或者,第一平坦面122和第一凸起面124为非球面,第二平坦面142为球面,第二凸起面144为菲涅尔面;或者,第一平坦面122为非球面,第一凸起面124为球面,第二平坦面142为菲涅尔面,第二凸起面144为二元光学面等。
[0087]
当面型选用非球面时,有利于修正成像装置100的像差,解决视界歪曲等问题,同时透镜更轻、更薄、更平,且仍然能保持优异的抗冲击性能;当面型选用球面时,微透镜阵列结构10制造工艺较为简单;当面型选用菲涅尔面时,成像装置100成像较为明亮、亮度均匀,不易出现边角变暗、模糊的问题;当面型选用二元光学面时,透镜重量轻、成本低,并能实现传统光学难以完成的微小、阵列、集成等新功能。
[0088]
请再次参阅图8,当第一方向与第二方向垂直,且每个第一凸台126的宽度等于每个第二凸台146的宽度时,多个第一凸台126与多个第二凸台146形成的微透镜阵列为正方形的微透镜阵列。请参阅图 16,当第一方向与第二方向垂直,且每个第一凸台126的宽度大于每个第二凸台146的宽度或者每个第二凸台146的宽度大于第一凸台126的宽度(如图16所示)时,多个第一凸台126与多个第二凸台146形成的微透镜阵列为长方形微透镜阵列。请参阅图17,当第一方向与第二方向相交且第一方向不与第二方向垂直时,多个第一凸台126与多个第二凸台146形成的微透镜阵列为平行四边形微透镜阵列。本实施方式的微透镜阵列可以为正方形微透镜阵列、长方形微透镜阵列或平行四边形微透镜阵列,以适用于多种不同形状、结构或功能的成像装置100。
[0089]
本申请还提供一种微透镜阵列结构10的制造方法。本申请实施方式的微透镜阵列结构10的制造方法包括:
[0090]
形成第一透镜阵列12,第一透镜阵列12包括多个第一凸台126,多个第一凸台126沿第一方向排列;
[0091]
形成第二透镜阵列14,第二透镜阵列14包括多个第二凸台146,多个第二凸台146沿第二方向排列;和
[0092]
将第一透镜阵列12与第二透镜阵列14组合以使多个第一凸台126与多个第二凸台146在第三方向上交叠形成微透镜阵列,第一方向与第二方向相交,第三方向垂直于第一方向和第二方向。
[0093]
可以理解,前述对微透镜阵列结构10的解释说明均适用于本实施方式的微透镜阵列结构10的制造方法,在此不再展开说明。
[0094]
请参阅图18,本申请还提供一种电子设备1000。电子设备1000包括上述任意一项实施方式所述的成像装置100和壳体400。成像装置100安装在壳体400上。其中,成像装置100还包括处理器50。处理器50设置在成像装置100内。处理器50可用于控制多个感光像素20曝光以接收穿过微透镜阵列结构10的光线,并接收每个感光像素20输出的电信号以形成与多个感光像素集合一一对应的元图像。处理器50还可以用于融合多张元图像得到合并图像、根据至少两张元图像计算场景的深度信息、以及根据深度信息对合并图像做预定处理。处理器50执行上述步骤时与处理器300执行上述步骤的过程一致,在此不再展开说明。
[0095]
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0096]
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0097]
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

权利要求书

[权利要求 1]
一种成像装置,其特征在于,所述成像装置包括微透镜阵列结构和多个感光像素,所述微透镜阵列结构覆盖多个感光像素集合,每个所述感光像素集合包括多个所述感光像素,每个所述感光像素集合中的多个感光像素接收穿过所述微透镜阵列结构入射的光线以输出多张元图像;所述成像装置还包括处理器,所述处理器用于: 融合多张所述元图像得到合并图像; 根据至少两张所述元图像计算场景的深度信息;和 根据所述深度信息对所述合并图像做预定处理。
[权利要求 2]
根据权利要求1所述的成像装置,其特征在于,所述处理器还用于: 选取两张所述元图像,一张所述元图像作为基准元图像,另一张所述元图像作为待匹配元图像; 将所述基准元图像划分为多张块图像,并从多张所述块图像中选取一张所述块图像作为基准块图像; 在所述待匹配元图像中寻找与所述基准块图像匹配的匹配块图像以形成匹配图像对; 循环执行上述划分步骤及上述寻找步骤以遍历所述基准元图像中的多张所述块图像,得到多个所述匹配图像对; 融合每个匹配图像对中的所述基准块图像和所述匹配块图像得到融合子图像,并拼接多张所述融合子图像以获取拼接子图像;和 将所述拼接子图像作为新的所述基准元图像,从剩余的多张所述元图像中选取一张所述元图像作为新的所述待匹配元图像,并循环执行上述将所述基准元图像划分为多张块图像的步骤至获取拼接子图像的步骤以融合得到所述合并图像,其中,循环执行将所述基准元图像划分为多张块图像的步骤时是以前一次的所述拼接子图像作为所述基准元图像。
[权利要求 3]
根据权利要求1所述的成像装置,其特征在于,所述处理器还用于: 将多张所述元图像划分为基准图像集合和待匹配图像集合,所述基准图像集合中包括多张所述元图像,所述待匹配图像集合中包括多张所述元图像; 从所述基准图像集合中选取一张所述元图像作为基准元图像,从所述待匹配图像集合中选取一张所述元图像作为待匹配元图像; 将所述基准元图像划分为多张块图像,并从多张所述块图像中选取一张所述块图像作为基准块图像; 在所述待匹配元图像中寻找与所述基准块图像匹配的匹配块图像以形成匹配图像对; 根据所述匹配图像对中的所述基准块图像和所述匹配块图像的视差计算所述深度信息; 循环执行所述划分步骤、所述寻找步骤及所述计算步骤以遍历所述基准元图像中的多张所述块图像,以获取多个所述深度信息;和 循环执行上述从所述基准图像集合中选取一张所述元图像作为基准元图像的步骤至获取多个所述深度信息的步骤以遍历所述基准图像集合中的多张所述元图像,得到多个所述深度信息。
[权利要求 4]
根据权利要求1所述的成像装置,其特征在于,所述处理器还用于: 根据所述深度信息确定所述合并图像的前景区域和背景区域; 根据所述深度信息对所述背景区域做虚化处理。
[权利要求 5]
根据权利要求1所述的成像装置,其特征在于,所述处理器还用于: 根据用户输入确定所述合并图像的待对焦区域; 根据所述深度信息对所述合并图像的除所述待对焦区域外的区域做虚化处理。
[权利要求 6]
根据权利要求1至5任意一项所述的成像装置,其特征在于,相邻两个所述感光像素集合之间设置有间隔壁。
[权利要求 7]
根据权利要求1至5任意一项所述的成像装置,其特征在于,所述微透镜阵列结构包括多个微透镜,每个所述微透镜覆盖一个所述感光像素集合;所述成像装置还包括衬底,多个所述感光像素形成在所述衬底上,所述衬底的与所述感光像素接触的面为曲面结构。
[权利要求 8]
根据权利要求7所述的成像装置,其特征在于,至少两个所述微透镜具有不同的曲率半径。
[权利要求 9]
根据权利要求1至5任意一项所述的成像装置,其特征在于,所述微透镜阵列结构包括第一透镜阵列和第二透镜阵列,所述第一透镜阵列包括多个第一凸台,多个所述第一凸台沿第一方向排列,所述第二透镜阵列包括多个第二凸台,多个所述第二凸台沿第二方向排列;所述第一凸台与所述第二凸台在 第三方向上交叠形成所述微透镜阵列结构,所述第一方向与所述第二方向相交,所述第三方向垂直于所述第一方向和所述第二方向。
[权利要求 10]
根据权利要求9所述的成像装置,其特征在于,所述第一透镜阵列包括相背的第一平坦面和第一凸起面,多个所述第一凸台形成所述第一凸起面,所述第二透镜阵列包括相背的第二平坦面和第二凸起面,多个所述第二凸台形成所述第二凸起面;所述第一平坦面和所述第二平坦面均为曲面结构。
[权利要求 11]
一种电子设备,其特征在于,包括: 壳体;和 成像装置,所述成像装置安装在所述壳体上,成像装置包括微透镜阵列结构和多个感光像素,所述微透镜阵列结构覆盖多个感光像素集合,每个所述感光像素集合包括多个所述感光像素,每个所述感光像素集合中的多个感光像素接收穿过所述微透镜阵列结构入射的光线以输出多张元图像;所述成像装置还包括处理器,所述处理器用于: 融合多张所述元图像得到合并图像; 根据至少两张所述元图像计算场景的深度信息;和 根据所述深度信息对所述合并图像做预定处理。
[权利要求 12]
根据权利要求11所述的电子设备,其特征在于,所述处理器还用于: 选取两张所述元图像,一张所述元图像作为基准元图像,另一张所述元图像作为待匹配元图像; 将所述基准元图像划分为多张块图像,并从多张所述块图像中选取一张所述块图像作为基准块图像; 在所述待匹配元图像中寻找与所述基准块图像匹配的匹配块图像以形成匹配图像对; 循环执行上述划分步骤及上述寻找步骤以遍历所述基准元图像中的多张所述块图像,得到多个所述匹配图像对; 融合每个匹配图像对中的所述基准块图像和所述匹配块图像得到融合子图像,并拼接多张所述融合子图像以获取拼接子图像;和 将所述拼接子图像作为新的所述基准元图像,从剩余的多张所述元图像中选取一张所述元图像作为新的所述待匹配元图像,并循环执行上述将所述基准元图像划分为多张块图像的步骤至获取拼接子图像的步骤以融合得到所述合并图像,其中,循环执行将所述基准元图像划分为多张块图像的步骤时是以前一次的所述拼接子图像作为所述基准元图像。
[权利要求 13]
根据权利要求11所述的电子设备,其特征在于,所述处理器还用于: 将多张所述元图像划分为基准图像集合和待匹配图像集合,所述基准图像集合中包括多张所述元图像,所述待匹配图像集合中包括多张所述元图像; 从所述基准图像集合中选取一张所述元图像作为基准元图像,从所述待匹配图像集合中选取一张所述元图像作为待匹配元图像; 将所述基准元图像划分为多张块图像,并从多张所述块图像中选取一张所述块图像作为基准块图像; 在所述待匹配元图像中寻找与所述基准块图像匹配的匹配块图像以形成匹配图像对; 根据所述匹配图像对中的所述基准块图像和所述匹配块图像的视差计算所述深度信息; 循环执行所述划分步骤、所述寻找步骤及所述计算步骤以遍历所述基准元图像中的多张所述块图像,以获取多个所述深度信息;和 循环执行上述从所述基准图像集合中选取一张所述元图像作为基准元图像的步骤至获取多个所述深度信息的步骤以遍历所述基准图像集合中的多张所述元图像,得到多个所述深度信息。
[权利要求 14]
根据权利要求11所述的电子设备,其特征在于,所述处理器还用于: 根据所述深度信息确定所述合并图像的前景区域和背景区域; 根据所述深度信息对所述背景区域做虚化处理。
[权利要求 15]
根据权利要求11所述的电子设备,其特征在于,所述处理器还用于: 根据用户输入确定所述合并图像的待对焦区域; 根据所述深度信息对所述合并图像的除所述待对焦区域外的区域做虚化处理。
[权利要求 16]
一种电子设备,其特征在于,包括: 壳体; 成像装置,所述成像装置包括微透镜阵列结构和多个感光像素,所述微透镜阵列结构覆盖多个感光 像素集合,每个所述感光像素集合包括多个所述感光像素,每个所述感光像素集合中的多个感光像素接收穿过所述微透镜阵列结构入射的光线以输出多张元图像;和 处理器,所述处理器用于:融合多张所述元图像得到合并图像、根据至少两张所述元图像计算场景的深度信息、及根据所述深度信息对所述合并图像做预定处理。
[权利要求 17]
根据权利要求16所述的电子设备,其特征在于,所述处理器还用于: 选取两张所述元图像,一张所述元图像作为基准元图像,另一张所述元图像作为待匹配元图像; 将所述基准元图像划分为多张块图像,并从多张所述块图像中选取一张所述块图像作为基准块图像; 在所述待匹配元图像中寻找与所述基准块图像匹配的匹配块图像以形成匹配图像对; 循环执行上述划分步骤及上述寻找步骤以遍历所述基准元图像中的多张所述块图像,得到多个所述匹配图像对; 融合每个匹配图像对中的所述基准块图像和所述匹配块图像得到融合子图像,并拼接多张所述融合子图像以获取拼接子图像;和 将所述拼接子图像作为新的所述基准元图像,从剩余的多张所述元图像中选取一张所述元图像作为新的所述待匹配元图像,并循环执行上述将所述基准元图像划分为多张块图像的步骤至获取拼接子图像的步骤以融合得到所述合并图像,其中,循环执行将所述基准元图像划分为多张块图像的步骤时是以前一次的所述拼接子图像作为所述基准元图像。
[权利要求 18]
根据权利要求16所述的电子设备,其特征在于,所述处理器还用于: 将多张所述元图像划分为基准图像集合和待匹配图像集合,所述基准图像集合中包括多张所述元图像,所述待匹配图像集合中包括多张所述元图像; 从所述基准图像集合中选取一张所述元图像作为基准元图像,从所述待匹配图像集合中选取一张所述元图像作为待匹配元图像; 将所述基准元图像划分为多张块图像,并从多张所述块图像中选取一张所述块图像作为基准块图像; 在所述待匹配元图像中寻找与所述基准块图像匹配的匹配块图像以形成匹配图像对; 根据所述匹配图像对中的所述基准块图像和所述匹配块图像的视差计算所述深度信息; 循环执行所述划分步骤、所述寻找步骤及所述计算步骤以遍历所述基准元图像中的多张所述块图像,以获取多个所述深度信息;和 循环执行上述从所述基准图像集合中选取一张所述元图像作为基准元图像的步骤至获取多个所述深度信息的步骤以遍历所述基准图像集合中的多张所述元图像,得到多个所述深度信息。
[权利要求 19]
根据权利要求16所述的电子设备,其特征在于,所述处理器还用于: 根据所述深度信息确定所述合并图像的前景区域和背景区域; 根据所述深度信息对所述背景区域做虚化处理。
[权利要求 20]
根据权利要求16所述的电子设备,其特征在于,所述处理器还用于: 根据用户输入确定所述合并图像的待对焦区域; 根据所述深度信息对所述合并图像的除所述待对焦区域外的区域做虚化处理。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13]  
[ 图 14]  
[ 图 15]  
[ 图 16]  
[ 图 17]  
[ 图 18]