Suche in nationalen und internationalen Patentsammlungen
Einige Inhalte dieser Anwendung sind momentan nicht verfügbar.
Wenn diese Situation weiterhin besteht, kontaktieren Sie uns bitte unterFeedback&Kontakt
1. (WO2019042404) IMAGE PROCESSING METHOD, TERMINAL, AND STORAGE MEDIUM
Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

附图

1A   1B   2A   2B   2C   3A   3B   3C   3D   4   5A   5B   5C   6A   6B   7   8   9   10   11A   11B   12  

说明书

发明名称 : 一种图像处理方法、终端和存储介质

[0001]
本申请要求于2017年09月04日提交中国专利局、申请号为2017107874927、申请名称为“图像处理方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请涉及一种图像处理领域,尤其涉及一种图像处理方法、终端和存储介质。

背景技术

[0003]
随着移动设备相关技术的发展,人们越来越多的使用移动设备拍摄照片等图像,但是由于移动设备的不稳定性,在拍摄过程中移动设备自身的运动会导致摄像头拍摄到的成像效果受到很大影响,而对这些成像效果不佳的图像通常不会是用户需要的照片,而现有技术中无法有效识别出这些成像效果不佳的图像。
[0004]
发明内容
[0005]
根据本申请的各种实施例,提供一种图像处理方法、终端和存储介质。
[0006]
一种图像处理方法,包括:
[0007]
在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;
[0008]
在所述目标帧图像为有效帧图像的情况下,获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点;
[0009]
计算所述上一帧图像中的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的位移距离;
[0010]
在根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的情况下, 输出所述目标帧图像。
[0011]
一种用于图像处理的终端,包括:存储介质和处理器;其中:
[0012]
存储介质,用于保存摄像头拍摄到的帧图像,并存储有程序指令;
[0013]
所述处理器,用于执行所述程序指令;所述程序指令被所述处理器执行时,使得所述处理器执行以下步骤:
[0014]
在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;
[0015]
在所述目标帧图像为有效帧图像的情况下,获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点;
[0016]
计算所述上一帧图像中的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的位移距离;
[0017]
在根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的情况下,输出所述目标帧图像。
[0018]
一种存储介质,所述存储介质中存储有多条程序指令,所述程序指令被一个或多个处理器执行时,使得所述一个或多个处理器执行图像处理方法的步骤。
[0019]
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。

附图说明

[0020]
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0021]
图1A是本申请实施例提供的一种图像处理方法的流程示意图;
[0022]
图1B是本申请实施例提供的一种位移距离的场景示意图;
[0023]
图2A是本申请实施例提供的一种图像处理的网络架构示意图;
[0024]
图2B~图2C是本申请实施例提供的一种图像处理的场景示意图;
[0025]
图3A是本申请实施例提供的一种确定目标帧图像为有效帧图像的方法的流程示意图;
[0026]
图3B是本申请实施例提供的一种区分图像特征点的场景示意图;
[0027]
图3C是本申请实施例提供的一种图像特征点的界面示意图;
[0028]
图3D是本申请实施例提供的一种引导信息的界面示意图;
[0029]
图4是本申请实施例提供的另一种确定目标帧图像为有效帧图像的方法的流程示意图;
[0030]
图5A是本申请实施例提供的又一种确定目标帧图像为有效帧图像的方法的流程示意图;
[0031]
图5B是本申请实施例提供的一种确定目标帧图像质心位置的场景示意图;
[0032]
图5C是本申请实施例提供的另一种引导信息的界面示意图;
[0033]
图6A是本申请实施例提供的一种确定目标帧图像为非运动状态下拍摄的方法的流程示意图;
[0034]
图6B是本申请实施例提供的另一种确定目标帧图像为非运动状态下拍摄的方法的流程示意图;
[0035]
图7是本申请实施例提供的另一种图像处理方法的流程示意图;
[0036]
图8是本申请实施例提供的又一种图像处理方法的流程示意图;
[0037]
图9是本申请实施例提供的一种图像处理的具体场景示意图;
[0038]
图10是本申请实施例提供的一种图像处理装置的结构示意图;
[0039]
图11A是本申请实施例提供的一种确定单元的结构示意图;
[0040]
图11B是本申请实施例提供的另一种确定单元的结构示意图;
[0041]
图12是本申请实施例提供的一种终端的结构示意图。

具体实施方式

[0042]
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0043]
本申请实施例公开一种图像处理方法、终端和存储介质,能够避免输出成 像效果不佳的图像,提高终端处理图像的效率。
[0044]
请参见图1A,图1A是本申请实施例提供的一种图像处理方法的流程示意图,如图1A所示,该图像处理方法可包括:
[0045]
101、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0046]
可以理解的是,本申请实施例可以应用于用于图像处理的终端,该终端可以为手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(Mobile Internet Device,MID)、可穿戴设备(例如智能手表(如iWatch等)等等,本申请实施例不作限定。
[0047]
本申请实施例中,摄像头可以为终端中的摄像头,也可以为终端外接的摄像头等。也就是说,在摄像头为终端外接的摄像头的情况下,在通过该摄像头拍摄到目标帧图像后,可以将该目标帧图像上传至该终端中,从而使得该终端对该目标帧图像进行处理。
[0048]
本申请实施例中,图像特征点可以通过尺度不变特征变换(Scale-invariant feature transform,SIFT)算法提取,也可以通过加速鲁棒特征(Speeded-Up Robust Features,SURF)算法提取,也可以通过局部特征点(Features from Accelerated Segment Test,FAST)算法提取,又或者是通过改进的SIFT算法或改进的SURF算法提取等等,本申请实施例对于具体的图像特征点提取算法不作唯一性限定。
[0049]
102、在上述目标帧图像为有效帧图像的情况下,获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点。
[0050]
具体地,上述特征信息包括图像特征点的像素颜色信息或亮度信息。
[0051]
具体地,上述获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点包括:
[0052]
根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪,根据上述目标帧图像中的至少一个图像特征点的特征信息在上述目标帧图像中跟踪得到上述光流图像特征点对应的图像特征点。
[0053]
光流的概念是Gibson在1950年首先提出来的,它是空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系。因此,本实施例中,通过上一帧图像中的光流图像特征点的特征信息对该光流图像特征点进行光流跟踪,从而在目标帧图像中得到与该光流图像特征点对应的图像特征点,所述光流图像特征点对应的图像特征点的特征信息与该光流图像特征点的特征信息相同或近似度达到设定阈值(例如98%)。所述特征信息包括图像特征点的像素颜色信息或亮度信息。
[0054]
其中,根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪包括:在上述摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪。
[0055]
本实施例中,在根据上一帧图像中的光流图像特征点进行光流跟踪的过程中,若根据该上一帧图像中的目标光流图像特征点的特征信息无法跟踪得到目标帧图像中与该目标光流图像特征点对应的图像特征点,则表示光流跟踪不成功,可以将保存的目标光流图像特征点的特征信息丢弃。
[0056]
103、计算上述上一帧图像中的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的位移距离。
[0057]
在确定目标帧图像为有效帧图像的情况下,可以计算上一帧图像中的光流图像特征点与该目标帧图像中对应的图像特征点在帧图像中的位移距离。在可选实施例中,可以通过金字塔光流算法来计算上一帧图像中的光流图像特征点在目标帧图像中的对应图像特征点,从而计算上一帧图像中的光流图像特征点与目标帧图像中对应的图像特征点在帧图像中的位移距离。其中,金字塔光流算法大致分为三个步骤,即建立金字塔、金字塔跟踪以及迭代过程。其中,金字塔特征跟踪算法如下:首先,在图像金字塔的最高一层计算光流和仿射变换矩阵;其次,将最高一层的计算结果作为初始值传递给下一层图像,也就是说该下一层的图像在上述初始值的基础上,计算该下一层的光流和仿射变换矩阵;然后,再将该下一层的光流和仿射变换矩阵作为初始值传递给下一层,直到传 递给最后一层,即原始图像层;最后,将最后一层计算出来的光流和仿射变换矩阵作为最后的光流和仿射变换矩阵的结果。通过迭代得到最后的光流,从而依据迭代出的光流计算上一帧图像中的光流图像特征点在目标帧图像对应的图像特征点。可以理解的是,在其他可选实施例中,也可以使用其他图像跟踪算法,例如采用改进的金字塔光流算法来跟踪图像特征点位置,本实施例不作唯一性限定。
[0058]
如图1B所示,图1B为本申请实施例提供的一种位移距离的场景示意图,图中,黑色圆点A为上一帧图像中的光流图像特征点,黑色圆点A’为光流跟踪至目标帧图像中与A对应的图像特征点,黑色圆点A与黑色圆点A’在图像中的距离即为位移距离。具体在计算位移距离时,可以根据光流图像特征点及其对应的图像特征点的分别在各自帧图像中的位置坐标,计算其之间的位移距离;也可以将光流图像特征点A映射在目标帧图像中相应位置上,在目标帧图像中计算光流图像特征点A与其对应的图像特征点A’之间的位移距离;还可以将光流图像特征点A对应的图像特征点A’映射在上一帧图像中的相应位置,在上一帧图像中计算光流图像特征点A与其对应的图像特征点A’之间的位移距离。
[0059]
104、在根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的情况下,输出上述目标帧图像。
[0060]
本申请实施例中,上述输出目标帧图像可以为保存该目标帧图像,或者分享该目标帧图像,又或者为展示该目标帧图像等等,本申请实施例对于具体的输出形式不作唯一性限定。
[0061]
举例来说,终端连续拍摄了多张图像,通过上述操作,可以将成像效果比较好的图像展示给用户,或者将成像效果比较好的图像进行保存,进而删除成像效果不佳的图像,一方面不仅可以提高用户的满意度;另一方面,还能够有效节省终端的存储空间。
[0062]
实施本申请实施例,可以避免终端输出成像效果不佳的图像,从而为用户提供成像效果良好的图像,提高终端处理图像的效率,增加用户的满意度。
[0063]
在实际生活中,在使用QQ浏览器的扫一扫或者在增强现实(Augmented Reality,AR)的云识别中,通常需要向云端上传图像来请求相关的图像处理服 务,但是在使用移动设备拍摄图像的过程中,会由于移动设备的不稳定,从而导致成像效果受影响如成像模糊,而在该情况下,由于成像模糊,可能使得云端无法有效识别。因此,作为一种可选的实现方式,上述输出上述目标帧图像包括:
[0064]
向服务器提交上述目标帧图像。具体地,服务器包括云端服务器、本地后台处理服务器等,本实施例不作唯一性限定。
[0065]
如图2A所示,图2A为本申请实施例提供的一种图像处理的网络架构示意图。如图2A,该网络架构包括:用于图像处理的终端203以及云端服务器204,其中,终端203可以为移动设备如手机等,该终端203可以包括摄像头,该终端203与云端服务器204可以进行通信,从而实现数据的传输。
[0066]
基于图2A所示的网络架构示意图,请参见图2B和图2C,图2B和图2C是本申请实施例提供的一种图像处理的具体场景。该场景下,用户需要通过终端21扫描“福”字,终端21将扫描到的“福”字发送给服务器23,服务器23对接收到的字进行识别处理。如图2B所示,用户通过终端21扫描“福”字,从图中可以看出,终端21的扫描框22中并没得到足够数量的特征点,即扫描框22所获取的目标帧图像为无效帧图像,该情况下,终端21可以不执行上传目标帧图像给服务器23。如图2C,在终端21获取到的目标帧图像为有效帧图像的情况下,且终端21确定该目标帧图像为非运动状态下拍摄时,终端21将该目标帧图像上传至服务器23。服务器23对该目标帧图像进行识别后,可以向终端21下发红包或者福卡等等。可以理解的是,在该场景下,终端21避免了不断上传无效帧图像给服务器23,减少了上传操作的次数,以及避免了由于服务器23不断识别目标帧图像,而加重服务器23负载的问题。
[0067]
实施本实施例,一方面可以使得服务器有效地识别目标帧图像,提高服务器识别图像的效率;另一方面可以使得终端上传满足上述条件的帧图像给服务器,有效减少了上传的帧数,节省蜂窝网络数据。
[0068]
请参见图3A,图3A是本申请实施例提供的一种确定目标帧图像为有效帧图像的方法的流程示意图,该方法可应用于用于图像处理的终端,如图3A所示, 该确定目标帧图像为有效帧图像的方法可包括:
[0069]
301、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0070]
302、获取上述目标帧图像中提取得到的图像特征点的数量。
[0071]
303、在提取得到的图像特征点的数量达到数量阈值的情况下,确定上述目标帧图像为有效帧图像。
[0072]
其中,数量阈值的作用是:用于判断图像特征点的数量是否达到数量阈值,若是,则确定目标帧图像为有效帧图像。通常来说,图像特征点的数量越多表明帧图像的丰富程度越高,图像特征点的数量越少则表明帧图像的区分度越低。因此,该数量阈值的设置可以由终端设置等,本实施例不作限定。具体地,该数量阈值可以在终端拍摄目标帧图像之前进行设置,又或者在拍摄上一帧图像之前进行设置等等,该数量阈值的设置可以由终端依据实际情况进行设置,本申请实施例不作限定。
[0073]
举例来说,该数量阈值可以为50,也就是说,在从目标帧图像中提取得到的图像特征点的数量达到50的情况下,可以确定该目标帧为有效帧图像。
[0074]
具体地,本申请实施例还提供了一种确定图像特征点的方法,如下:
[0075]
上述图像特征点的周围相邻像素点中像素特征区别于上述图像特征点的差异像素点占所有相邻像素点的比例达到比例阈值。
[0076]
本实施例中,举例来说,比例阈值为四分之三,则如图3B所示,图3B是本申请实施例提供的一种区分图像特征点的场景示意图。其中,图中①~⑨均为像素点,②~⑨均为①的相邻像素点,从图中可以看出②~⑦为区别于①的像素点,也就是说,②~⑦为区别于图像特征点的差异像素点。因此,图像特征点的周围相邻像素点中像素特征区别于该图像特征点的差异像素点占所有相邻像素点的比例为四分之三,也就是说,达到了比例阈值四分之三,因此,①像素点为图像特征点。可以理解的是,图3B所示仅为示例,其中示例的像素点以及数量仅仅是一种示例,不应将图3B的示例理解为具有限定意义。
[0077]
又举例来说,如图3C所示,图中的圆点部分为图像特征点,可以看出图像特征点和周围区域的像素点有明显差异。
[0078]
本申请实施例中,通过获取图像特征点的数量,来确定目标帧图像是否为 有效帧图像,从而使得终端对该目标帧图像进行处理,实施本实施例,可以避免终端获取模糊图像,或者无具体内容的图像,提高了终端的处理效率。
[0079]
本实施例中,本申请实施例还提供了一种发出引导信息的方法,如下:
[0080]
在提取得到的图像特征点的数量未达到上述数量阈值的情况下,发出引导信息,上述引导信息用于提示用户调整摄像头拍摄位置。
[0081]
参见图3D,图3D是本申请实施例提供的一种引导信息的场景示意图,如图3D所示,31为终端所发出的引导信息,32为终端所拍摄的目标帧图像,在终端所提取到的目标帧图像中的图像特征点的数量未达到终端所设置的数量阈值时,该终端发出引导信息31。可以理解的是,图3D仅为示例,不应理解具有限定意义。
[0082]
实施本实施例,通过发出引导信息,引导用户进行操作,可以提高终端获取目标帧图像的效率。
[0083]
请参见图4,图4是本申请实施例提供的另一种确定目标帧图像为有效帧图像的方法,如图4所示,该方法可包括:
[0084]
401、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0085]
402、获取上述目标帧图像中提取得到的图像特征点的数量。
[0086]
403、在提取得到的图像特征点的数量未达到数量阈值的情况下,计算上述目标帧图像的图像清晰度。
[0087]
在图像处理中,模糊度和清晰度是描述图像清晰程度(模糊程度)的两个相对又互相联系的两个概念。图像越清晰,质量越高,清晰度越大,模糊度越小;图像越不清晰(越模糊),质量越低,清晰度越小,模糊度越大。因此,描述一幅图像清晰程度时,既可以使用清晰度也可以使用模糊度,只是两个指标数值上成反比。由此,上述确定上述目标帧图像为有效帧图像的方法,不应理解为具有限定意义,也就是说也可以通过计算目标帧图像的模糊度,来确定上述目标帧图像是否为有效帧图像。
[0088]
可以理解的是,本申请实施例中的数量阈值可以与图3A中的数量阈值相同等,本申请实施例不作限定。
[0089]
具体地,上述计算上述目标帧图像的图像清晰度包括:
[0090]
计算上述目标帧图像的图像梯度值,根据上述图像梯度值确定上述目标帧图像的图像清晰度。
[0091]
一般地,图像清晰度的评价函数有灰度变化函数、梯度函数以及图像灰度熵函数等。具体地,在图像处理中,图像梯度可以用来进行边缘提取,对焦越好,图像边缘越锋利,应该具有更大的图像梯度值,如图像灰度梯度能量函数、Robert梯度和拉普拉斯算子等。因此,可以利用梯度函数来计算目标帧的清晰度。
[0092]
具体地,本申请实施例中,计算目标帧图像的图像清晰度可以包括:对目标帧图像做拉普拉斯(Laplacian)变换,获取目标帧图像的梯度图(即原始帧中像素变化幅度),梯度图的方差即为模糊度,方差越大则帧越清晰区分度越高,反之则帧模糊区分度小。
[0093]
404、在上述目标帧图像的清晰度达到清晰度阈值的情况下,确定上述目标帧图像为有效帧图像。
[0094]
本申请实施例中,清晰度阈值可以由终端在执行本申请实施例所提供的方法之前设置,也可以在计算目标帧图像的清晰度之后,以及未比对目标帧图像的清晰度与清晰度阈值之前,进行设置,等等,本申请实施例不作限定。
[0095]
可以理解的是,在目标帧图像的清晰度未达到清晰度阈值时,终端还可以发出清晰度提示信息,该清晰度提示信息用于提示用户注意对焦,等等,本申请实施例不作具体限定。
[0096]
本申请实施例中,可以在获取到的图像特征点的数量未达到数量阈值时,进一步地确定目标帧图像的清晰度是否达到清晰度阈值,避免采样模糊度高的图像,实施本申请实施例,可以避免终端获取模糊图像,提高了终端的处理效率。
[0097]
请参见图5A,图5A是本申请实施例提供的又一种确定目标帧图像为有效帧图像的方法,如图5A所示,该方法可包括:
[0098]
501、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0099]
502、根据提取得到的图像特征点在上述目标帧图像中的位置计算上述目标帧图像的质心位置。
[0100]
503、在上述质心位置位于上述目标帧图像的中心区域的情况下,确定上述目标帧图像为有效帧图像。
[0101]
本实施例中,以图5B为例来进一步说明本实施例所提供的确定目标帧图像质心位置的场景示意图。其中,图5B中的黑色点51为质心位置,中心区域位于网格中间的1/2面积区域如区域52。
[0102]
其中,上述根据提取得到的图像特征点在上述目标帧图像中的位置计算上述目标帧图像的质心位置包括:
[0103]
确定上述目标帧图像中的多个网格子区域;
[0104]
根据提取得到的图像特征点在上述目标帧图像中的位置确定各个图像特征点所在的网格子区域;
[0105]
根据上述多个网格子区域中每个网格子区域中的图像特征点数量,计算上述目标帧图像的质心位置。
[0106]
具体地,确定质心位置的一个可选实施例中步骤如下所示:
[0107]
11)确定上述目标帧图像中的多个网格子区域,即将目标帧图像切分成N*M的网格(N和M根据目标帧图像的高宽不同可以设置),统计每个网格中包含的特征点数,形成N*M的密度矩阵;
[0108]
12)根据提取得到的图像特征点在上述目标帧图像中的位置确定各个图像特征点所在的网格子区域。在可选实施例中,还可以按网格平均的图像特征点数量过滤部分网格子区域,例如,还可以通过FAST算法提取到的特征点数量为P,网格子区域平均的图像特征点数量为Avg=P/N*M,对于其中的图像特征点数小于Avg的网格子区域将其包含的图像特征点数量记为0,从而降低局部少量图像特征点对整体目标帧图像质心的影响。
[0109]
13)根据上述多个网格子区域中每个网格子区域中的图像特征点数量,计算上述目标帧图像的质心位置,该质心代表了目标帧图像特征点分布的位置。根据步骤12)中的可选实施例中所描述的方法,还可以以过滤后的密度矩阵中特征点计数为权重,计算密度矩阵的质心,该质心可代表该目标帧图像特征点 分布的位置。
[0110]
14)若中心区域位于网格中间的1/2面积区域,则计算得到的质心位置位于该1/2面积区域的情况下,该目标帧图像满足分布条件,也就是说,该目标帧图像为有效帧图像。
[0111]
通过上述确定质心位置的方法,可以确定图3C中的质心位置,如图3C中的黑色实心圆点所示即为图3C的质心位置。
[0112]
可以理解的是,上述中心区域可以为目标帧图像的中心二分之一面积区域,也可以为目标帧图像的中心四分之一面积区域等,本实施例不作限定。
[0113]
本实施例中,在上述质心位置不位于上述目标帧图像的中心区域的情况下,发出引导信息,上述引导信息用于提示用户调整摄像头拍摄位置。
[0114]
参见图5C,图5C是本申请实施例提供的另一种引导信息的场景示意图,如图5C所示,其中,终端所发出的引导信息包括箭头指向信息以及文字提示信息;在目标帧图像的质心位置不在目标帧图像的中心区域时,该终端发出引导信息。可以理解的是,图5C仅为示例,不应理解具有限定意义。
[0115]
实施本申请实施例,可以保证目标帧图像的质心位置在中心区域,保证目标帧图像中包含所要获取的主要内容,提高了终端的处理效率。
[0116]
对于图3A、图4和图5A所描述的确定目标帧图像为有效帧的方法,还可以应用于确定上一帧图像是否为有效帧图像等等。在可选实施例中,在确定目标帧图像满足图3A、图4和图5A中的全部或部分条件时,可以确认目标帧图像为有效帧图像;另一方面,也可以在确定目标帧图像不满足图3A、图4和图5A中的部分或全部条件时,确定目标帧图像不是有效帧图像等等。
[0117]
在具体实现中,可以分别执行图3A、图4和图5A所描述的方法来确定目标帧图像是否为有效帧,也可以将图3A、图4和图5A所描述的方法进行组合后来确定目标帧图像是否为有效帧,如可以依据图8所描述的顺序确定目标帧图像为有效帧;也可以依据图9所描述的顺序确定目标帧图像为有效帧,等等,本申请实施例对于图3A、图4和图5A的先后顺序或组合顺序不作唯一性限定。
[0118]
请参见图6A,图6A是本申请实施例提供的一种确定目标帧图像为非运动 状态下拍摄的方法的流程示意图,如图6A所示,该方法可包括:
[0119]
601、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0120]
602、在上述目标帧图像为有效帧图像的情况下,获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点。
[0121]
603、计算上述上一帧图像中的至少部分光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离。
[0122]
604、在上述平均位移距离小于距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0123]
本实施例中,距离阈值为平均位移距离小于多少时,确定目标帧图像为非运动状态下拍摄到的,因此,对于该距离阈值的具体取值,本实施例不作限定。
[0124]
上述在上述平均位移距离小于距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到包括:
[0125]
在包括上述目标帧图像在内的上述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离,在上述连续多帧图像中每两个相邻帧图像之间的平均位移距离均小于上述距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0126]
即连续多帧图像中,每一帧图像相较于上一帧图像的图像特征点的平均位移距离均小于上述距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0127]
实施本申请实施例,通过确定目标帧图像为非运动状态下拍摄到的,可以避免终端拍摄模糊的图像,提高了终端处理图像的效率;以及减少终端上传服务器的次数,节省终端处理图像时的蜂窝数据,提高用户满意度。
[0128]
请参见图6B,图6B是本申请实施例提供的另一种确定目标帧图像为非运动状态下拍摄的方法,如图6B所示,该方法可包括:
[0129]
610、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0130]
620、在上述目标帧图像为有效帧图像的情况下,获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点。
[0131]
630、计算上述上一帧图像中至少部分的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离。
[0132]
640、根据上述平均位移距离和上述目标帧图像与上一帧图像之间的拍摄时间间距,计算上述目标帧图像与上一帧图像之间上述摄像头的拍摄位移速度。
[0133]
650、在上述摄像头的拍摄位移速度小于速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0134]
本申请实施例中,速度阈值为拍摄位移速度小于多少时,确定目标帧图像为非运动状态下拍摄到的,因此,对于该速度阈值的具体取值,本实施例不作限定。
[0135]
可以理解的是,本实施例中,拍摄位移速度可以不指定方向,也就是说,可以为拍摄位移速率,本实施例不作限定。
[0136]
上述在上述摄像头的拍摄位移速度小于速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到包括:
[0137]
在包括上述目标帧图像在内的上述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离;
[0138]
根据上述连续多帧图像中每两个相邻帧图像之间的平均位移距离和拍摄时间间距计算每两个相邻帧图像之间上述摄像头的拍摄位移速度;
[0139]
在每两个相邻帧图像之间上述摄像头的拍摄位移速度均小于上述速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0140]
即连续多帧图像中,每一帧图像与上一帧图像之间的摄像头的拍摄位移速度均小于上述速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0141]
实施本申请实施例,通过确定目标帧图像为非运动状态下拍摄到的,可以避免终端拍摄模糊的图像,提高了终端处理图像的效率;以及减少终端上传服务器的次数,节省终端处理图像时的蜂窝数据,提高用户满意度。
[0142]
需要指出的是,图6A和图6B所描述的两种确定目标帧图像为非运动状态下拍摄到的的实施方式仅为示例,在其他可选的实施例中可以采用更多的实施方式根据位移距离确定目标帧图像为非运动状态下,例如目标帧图像相较于上一帧图像没有出现位移距离大于另一距离阈值的图像特征点,即可确认目标帧图像为非运动状态下拍摄到的。
[0143]
请参阅图7,图7是本申请实施例提供的另一种图像处理方法的流程示意图,如图7所示,该图像处理方法可包括:
[0144]
701、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0145]
702、判断上述摄像头拍摄到的上一帧图像是否为有效帧图像,若是,则执行703;若否,则执行704。
[0146]
703、判断上述目标帧图像是否为有效帧图像,若是,则执行705;若否,则执行706。
[0147]
可以理解的是,上述判断上一帧图像以及目标帧图像是否为有效帧图像的方法可以参考图3A、图4和图5A所描述的方法,这里不作赘述。
[0148]
704、保存上述目标帧图像和上述至少一个图像特征点的特征信息。
[0149]
具体地,上述图像特征点被保存作为光流特征点用于进行光流跟踪。
[0150]
也就是说,在上一帧图像为无效帧图像的情况下,终端可以将目标帧图像进行保存,即将该目标帧图像作为初始化帧图像,然后再从摄像头进行拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0151]
705、根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪,根据上述目标帧图像中的至少一个图像特征点的特征信息在上述目标帧图像中跟踪得到上述光流图像特征点对应的图像特征点。
[0152]
706、删除当前保存的有效帧图像和对应的图像特征点的特征信息;
[0153]
也就是说,在目标帧图像为无效帧图像的情况下,终端可以直接删除已保 存的有效帧图像,从而重新进行帧图像的初始化。
[0154]
707、计算上述上一帧图像中的光流图像特征点与上述目标帧图像对应的图像特征点在帧图像中的位移距离。
[0155]
708、在根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的情况下,输出上述目标帧图像。
[0156]
可以理解的是,上述根据位移距离确定目标帧图像为非运动状态下拍摄到的方法,可以参考图6A和图6B所描述的方法,这里不作赘述。
[0157]
实施本申请实施例,在上一帧图像以及目标帧图像为有效帧的情况下,计算该目标帧图像的图像特征点与该上一帧图像中的相应图像特征点在图像中的位移距离,也就是说,在初始化帧图像为有效帧图像的情况下,执行后续操作,可以有效提高光流跟踪的效率,提高位移距离计算的精确度,进而提高终端输出目标帧图像的效率,增加用户满意度。
[0158]
请参见图8,图8是本申请实施例提供的又一种图像处理方法的流程示意图。该图像处理方法可以应用于用于图像处理的终端,如移动设备、平板电脑等,本申请实施例不作限定。如图8所示,该图像处理方法可包括:
[0159]
801、在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点。
[0160]
802、判断提取得到的图像特征点的数量是否达到数量阈值,若达到,则执行803;若未达到,则执行806。
[0161]
803、判断上述目标帧图像的清晰度是否达到清晰度阈值,若达到,则执行804;否则,执行806。
[0162]
804、判断上述目标帧图像中的质心位置是否位于上述目标帧图像的中心区域,若是,则执行805;若否,则执行806。
[0163]
805、确定上述目标帧图像为有效帧图像。
[0164]
可以理解的是,对于步骤802、步骤803以及步骤804的先后顺序,本申请实施例不作唯一性限定。
[0165]
806、发出引导信息。
[0166]
上述引导信息用于提示用户调整摄像头拍摄位置。
[0167]
807、获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点。
[0168]
808、计算上述上一帧图像中的光流图像特征点与上述目标帧图像对应的图像特征点在帧图像中的位移距离。
[0169]
809、在根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的情况下,输出上述目标帧图像。
[0170]
本申请实施例中的具体实现方法可以参考前叙实施例的实现方法,这里不作赘述。
[0171]
实施本申请实施例,可以实现与用户的交互,从而在终端所得到的目标帧图像不符合要求的情况下,引导用户进行相关操作,为用户提供更为直观的引导操作,提高用户满意度;另一方面,提高终端输出图像的效率,避免输出成像模糊的图像。
[0172]
为了更清楚地说明前述实施例所描述的方法,请参阅图9,图9是本申请实施例提供的一种图像处理方法的具体场景示意图,该图像处理方法可以应用于移动设备,图9所描述的方法可以基于图2A所提供的网络架构示意图,如图9所示,该图像处理方法可包括:
[0173]
901、通过摄像头拍摄得到上一帧图像和目标帧图像;其中,该上一帧图像为相对于目标帧图像的上一帧图像。
[0174]
902、通过FAST算法在摄像头拍摄到的目标帧图像中提取得到图像特征点。
[0175]
903、检测提取得到的图像特征点的数量是否达到数量阈值,若达到,则执行904;否则,执行905。
[0176]
904、根据提取得到的图像特征点检测目标帧图像的质心位置是否在上述目标帧图像的中心区域,若是,则执行907;否则,执行906。
[0177]
905、检测上述目标帧图像的清晰度是否达到清晰度阈值,若达到,则执行904;否则,执行906。
[0178]
在提取得到的图像特征点的数量未达到数量阈值的情况下,一种可能是因 为图像模糊,另一种可能是因为摄像头没有拍摄到具体内容,因此,在提取得到的图像特征点的数量未达到数量阈值的情况下,通过进一步判断目标帧图像的清晰度,可以有效保证该目标帧图像的成像效果,提高该终端处理图像的效率,进一步提高服务器识别图像的效率。
[0179]
906、发出引导信息。
[0180]
上述引导信息用于提示用户调整摄像头拍摄位置。
[0181]
907、在摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪。
[0182]
908、根据上述目标帧图像中的至少一个图像特征点的特征信息在上述目标帧图像中跟踪得到上述光流图像特征点对应的图像特征点。
[0183]
909、计算上述上一帧图像中至少部分的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离。
[0184]
910、根据上述平均位移距离和上述目标帧图像与上一帧图像之间的拍摄时间间距,计算上述目标帧图像与上一帧图像之间上述摄像头的拍摄位移速度。
[0185]
911、若上述摄像头的拍摄位移速度小于速度阈值,则确定上述目标帧图像为非运动状态下拍摄到的。
[0186]
912、向云端服务器提交上述目标帧图像。
[0187]
基于图9所描述的方法,举一个生活中的例子,如用户使用手机扫一扫功能,租赁共享单车的过程中,若手机扫描到的图像不清晰,则服务器可能无法识别,在这种情况下,手机需要不断进行采样,上传的操作。
[0188]
因此,通过实施本申请实施例,可以在终端如移动设备扫描的图像不清晰的情况下,引导用户重新扫描;进而在移动设备扫描到的图像成效效果良好的情况下,上传至服务器,一方面不仅可以减少移动设备上传请求的次数,降低流量的消耗,保证手机上传的图像质量;另一方面,减少对服务器的资源请求服务,提高服务器识别的效率。
[0189]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0190]
应该理解的是,虽然图1A、3A、4、5A、6A、6B、7-9的流程图中的各个 步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1A、3A、4、5A、6A、6B、7-9中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交底地执行。
[0191]
请参见图10,图10是本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置可以用于执行本申请实施例提供的图像处理方法,本申请实施例不作限定。如图10所示,该图像处理装置可包括:
[0192]
提取单元1001,用于在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;
[0193]
获取单元1002,用于在所述目标帧图像为有效帧图像的情况下,获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点;
[0194]
计算单元1003,用于计算上述上一帧图像中的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的位移距离;
[0195]
确定单元1004,用于根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的;
[0196]
输出单元1005,用于在上述确定单元1004根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的情况下,输出上述目标帧图像。
[0197]
实施本申请实施例,可以避免图像处理装置输出成像效果不佳的图像,从而为用户提供成像效果良好的图像,提高图像处理装置处理图像的效率,增加用户的满意度。
[0198]
作为一种可选的实现方式,上述获取单元1002,具体用于根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪,根据上述目标帧图像中的至少一个图像特征点的特征信息在上述目标帧图像中跟 踪得到上述光流图像特征点对应的图像特征点。
[0199]
本实施例中,上述获取单元1002,具体用于在上述摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪;
[0200]
上述图像处理装置还可包括:
[0201]
保存单元1006,用于若上述上一帧图像不是有效帧图像,则保存上述目标帧图像和上述至少一个图像特征点的特征信息,所述图像特征点被保存作为光流图像特征点用于进行光流跟踪。
[0202]
作为一种可选的实现方式,上述图像处理装置还可包括:
[0203]
删除单元1007,用于若上述目标帧图像不是有效帧图像,则删除当前保存的有效帧图像和对应有效帧图像中的光流图像特征点的特征信息。
[0204]
其中,上述特征信息包括图像特征点的像素颜色信息或亮度信息。
[0205]
实施本申请实施例,在上一帧图像以及目标帧图像为有效帧的情况下,计算该目标帧图像的图像特征点与该上一帧图像中的相应图像特征点在图像中的位移距离,也就是说,在初始化帧图像为有效帧图像的情况下,执行后续操作,可以有效提高光流跟踪的效率,提高位移距离计算的精确度,进而提高图像处理装置输出目标帧图像的效率,增加用户满意度。
[0206]
具体地,基于图10所示的图像处理装置,如图11A所示,上述确定单元1004具体包括:
[0207]
第一计算子单元1041,用于计算上述上一帧图像中至少部分的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
[0208]
第一确定子单元1042,用于在上述平均位移距离小于距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0209]
其中,上述第一确定子单元1042,具体用于在包括上述目标帧图像在内的上述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点分别与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离,在所述连续多帧图像中每两个相邻帧图像之间的平均位移距离均小于上述距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0210]
实施本申请实施例,可以有效地确定目标帧图像是否为非运动状态下拍摄到的,从而提高图像处理装置成像效果的效率,避免成像模糊的问题出现。
[0211]
作为一种可选的实现方式,如图11B所示,上述确定单元1004具体包括:
[0212]
第二计算子单元1043,用于计算上述上一帧图像中至少部分的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
[0213]
上述第二计算子单元1043,还用于根据上述平均位移距离和上述目标帧图像与上一帧图像之间的拍摄时间间距,计算上述目标帧图像与上一帧图像之间上述摄像头的拍摄位移距离;
[0214]
第二确定子单元1044,用于在上述摄像头的拍摄位移距离小于速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0215]
其中,上述第二确定子单元1044,具体用于在包括上述目标帧图像在内的上述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离;根据上述连续多帧图像中每两个相邻帧图像之间的平均位移距离和拍摄时间间距计算每两个相邻帧图像之间上述摄像头的拍摄位移距离;在每两个相邻帧图像之间上述摄像头的拍摄位移速度均小于速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0216]
实施本申请实施例,可以有效地确定目标帧图像是否为非运动状态下拍摄到的,从而提高图像处理装置成像效果的效率,避免成像模糊的问题出现。
[0217]
作为一种可选的实现方式,上述获取单元1002,还用于获取上述目标帧图像中提取得到的图像特征点的数量;
[0218]
上述确定单元1004,还用于在提取得到的图像特征点的数量达到数量阈值的情况下,确定上述目标帧图像为有效帧图像。
[0219]
其中,上述图像特征点的周围相邻像素点中像素特征区别于上述图像特征点的差异像素点占所有相邻像素点的比例达到比例阈值。
[0220]
实施本申请实施例,通过图像特征点的数量确定目标帧图像是否为有效帧图像,从而在该目标帧图像为有效帧图像的情况下,执行后续操作,进而提高图像处理装置处理图像的效率,提高图像成像的效率。
[0221]
作为一种可选的实现方式,上述图像处理装置还包括:
[0222]
第一发出单元1008,用于在提取得到的图像特征点的数量未达到上述数量阈值的情况下,发出引导信息,上述引导信息用于提示用户调整摄像头拍摄位置。
[0223]
实施本申请实施例,可以实现与用户的交互,从而在图像处理装置所得到的目标帧图像不符合要求的情况下,引导用户进行相关操作,为用户提供更为直观的引导操作,提高用户满意度。
[0224]
作为一种可选的实现方式,上述计算单元1003,还用于计算上述目标帧图像的图像清晰度;
[0225]
上述确定单元1004,还用于在上述目标帧图像的清晰度达到清晰度阈值的情况下,确定上述目标帧图像为有效帧图像。
[0226]
上述获取单元1002,还用于获取上述目标帧图像中提取得到的图像特征点的数量;
[0227]
上述确定单元1004,具体用于在提取得到的图像特征点的数量未达到数量阈值的情况下,通过上述计算单元计算上述目标帧图像的图像清晰度,在上述目标帧图像的清晰度达到清晰度阈值的情况下,确定上述目标帧图像为有效帧图像。
[0228]
具体地,上述计算单元1003,具体用于计算上述目标帧图像的图像梯度值,根据上述图像梯度值确定上述目标帧图像的图像清晰度。
[0229]
实施本申请实施例,通过判断目标帧图像的清晰度来确定目标帧图像是否为有效帧图像,从而在该目标帧图像为有效帧图像的情况下,执行后续操作,进而提高图像处理装置处理图像的效率,提高图像成像的效率。
[0230]
作为一种可选的实现方式,上述确定单元1004,还用于根据提取得到的图像特征点在上述目标帧图像中的位置通过上述计算单元计算上述目标帧图像的质心位置,在上述质心位置位于上述目标帧图像的中心区域的情况下,确定上述目标帧图像为有效帧图像。其中上述确定单元1004计算质心位置具体包括:确定上述目标帧图像中的多个网格子区域;根据提取得到的图像特征点在上述目标帧图像中的位置确定各个图像特征点所在的网格子区域;根据上述多个网 格子区域中每个网格子区域中的图像特征点数量,计算上述目标帧图像的质心位置。
[0231]
实施本申请实施例,通过质心位置的分布来确定目标帧图像是否为有效帧图像,从而在该目标帧图像为有效帧图像的情况下,执行后续操作,进而提高图像处理装置处理图像的效率,提高图像成像的效率。
[0232]
作为一种可选的实现方式,上述图像处理装置还包括:
[0233]
第二发出单元1009,用于在上述质心位置不位于上述目标帧图像的中心区域的情况下,发出引导信息,上述引导信息用于提示用户调整摄像头拍摄位置。
[0234]
实施本申请实施例,可以实现与用户的交互,从而在图像处理装置所得到的目标帧图像不符合要求的情况下,引导用户进行相关操作,为用户提供更为直观的引导操作,提高用户满意度。
[0235]
作为一种可选的实现方式,上述输出单元1005,具体用于向服务器提交上述目标帧图像。
[0236]
实施本申请实施例,一方面可以使得服务器有效地识别目标帧图像,提高服务器识别图像的效率;另一方面可以使得图像处理装置上传满足上述条件的帧图像给服务器,有效减少了上传的帧数,节省蜂窝网络数据。
[0237]
具体实现中,本申请实施例所描述的图像处理装置中的各单元的具体实现方式可以参考前述各个实施例的具体实现方式,在此不再一一赘述。
[0238]
上述图像处理装置可以实现为一种计算机程序的形式,计算机程序可在如图12所示的终端上运行。终端的存储介质中可存储组成该图像处理装置的各个程序单元,比如,图10所示的提取单元1001、获取单元1002、计算单元1003、确定单元1004和输出单元1005。各个程序单元构成的计算机程序在被处理器执行时,使得处理器执行本申请各个实施例的图像处理方法中的步骤。
[0239]
请参见图12,图12是本申请实施例提供的一种终端的结构示意图,如图12所示,该终端包括:
[0240]
存储介质1201,用于保存摄像头拍摄到的帧图像,并存储有程序指令;
[0241]
上述处理器1202,用于执行上述程序指令;上述程序指令被处理器执行时,使得上述处理器执行以下步骤:
[0242]
在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;
[0243]
在上述目标帧图像为有效帧图像的情况下,获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点;
[0244]
计算上述上一帧图像中的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的位移距离;
[0245]
在根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的情况下,输出上述目标帧图像。
[0246]
具体地,上述程序指令被处理器执行获取上述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合上述至少一个图像特征点的特征信息在上述至少一个图像特征点中确定与上述光流图像特征点对应的图像特征点的步骤时,使得上述处理器具体执行以下步骤:
[0247]
根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪,根据上述目标帧图像中的至少一个图像特征点的特征信息在上述目标帧图像中跟踪得到上述光流图像特征点对应的图像特征点。
[0248]
本实施例中,上述程序指令被处理器执行时,使得上述处理器还执行以下步骤:
[0249]
在上述摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据上述上一帧图像中的光流图像特征点的特征信息对上述光流图像特征点进行光流跟踪;若上述上一帧图像不是有效帧图像,则在上述存储介质保存上述目标帧图像和上述至少一个图像特征点的特征信息,上述图像特征点被保存作为光流图像特征点用于进行光流跟踪。
[0250]
作为一种可选的实现方式,上述程序指令被处理器执行时,使得上述处理器还执行以下步骤:
[0251]
若上述目标帧图像不是有效帧图像,则删除当前保存的有效帧图像和对应有效帧图像中的光流图像特征点的特征信息。
[0252]
具体地,上述特征信息包括图像特征点的像素颜色信息或亮度信息。
[0253]
作为一种可选的实现方式,上述程序指令被处理器执行根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的步骤时,使得上述处理器具体执行以下步骤:
[0254]
计算上述上一帧图像中至少部分的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
[0255]
在上述平均位移距离小于距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0256]
作为一种可选的实现方式,上述处理器执行上述程序指令执行在上述平均位移距离小于距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的步骤时,使得上述处理器具体执行以下步骤:
[0257]
在包括上述目标帧图像在内的上述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离,在上述连续多帧图像中每两个相邻帧图像之间的平均位移距离均小于距离阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0258]
作为一种可选的实现方式,上述程序指令被处理器执行根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的步骤时,使得上述处理器具体执行以下步骤:
[0259]
计算上述上一帧图像中至少部分的光流图像特征点与上述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
[0260]
根据上述平均位移距离和上述目标帧图像与上一帧图像之间的拍摄时间间距,计算上述目标帧图像与上一帧图像之间上述摄像头的拍摄位移速度;
[0261]
在上述摄像头的拍摄位移速度小于速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0262]
作为一种可选的实现方式,上述程序指令被处理器执行在上述摄像头的拍摄位移速度小于速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的步骤时,使得上述处理器具体执行以下步骤:
[0263]
在包括上述目标帧图像在内的上述摄像头拍摄到的连续多帧图像中,分别 计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离;
[0264]
根据上述连续多帧图像中每两个相邻帧图像之间的平均位移距离和拍摄时间间距计算每两个相邻帧图像之间上述摄像头的拍摄位移速度;
[0265]
在每两个相邻帧图像之间上述摄像头的拍摄位移速度均小于上述速度阈值的情况下,确定上述目标帧图像为非运动状态下拍摄到的。
[0266]
作为一种可选的实现方式,上述程序指令被处理器执行时,使得处理器还执行以下步骤:
[0267]
获取上述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量达到数量阈值的情况下,确定上述目标帧图像为有效帧图像。
[0268]
其中,上述图像特征点的周围相邻像素点中像素特征区别于上述图像特征点的差异像素点占所有相邻像素点的比例达到比例阈值。
[0269]
作为一种可选的实现方式,上述终端还包括:
[0270]
摄像头1203,用于拍摄帧图像;
[0271]
用户接口1204,用于与用户进行交互;
[0272]
上述程序指令被处理器执行时,使得处理器还执行以下步骤:
[0273]
在提取得到的图像特征点的数量未达到上述数量阈值的情况下,通过上述用户接口发出引导信息,上述引导信息用于提示用户调整上述摄像头的拍摄位置。
[0274]
作为一种可选的实现方式,上述程序指令被处理器执行时,使得处理器还执行以下步骤:
[0275]
计算上述目标帧图像的图像清晰度,在上述目标帧图像的清晰度达到清晰度阈值的情况下,确定上述目标帧图像为有效帧图像。
[0276]
作为一种可选的实现方式,上述程序指令被处理器执行时,使得处理器还执行以下步骤:
[0277]
获取上述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量未达到数量阈值的情况下,计算上述目标帧图像的图像清晰度,在上述目标帧图像的清晰度达到清晰度阈值的情况下,确定上述目标帧图像为 有效帧图像。
[0278]
作为一种可选的实现方式,上述程序指令被处理器执行计算上述目标帧图像的图像清晰度的步骤时,使得处理器具体执行以下步骤:
[0279]
计算上述目标帧图像的图像梯度值,根据上述图像梯度值确定上述目标帧图像的图像清晰度。
[0280]
作为一种可选的实现方式,上述程序指令被处理器执行时,使得处理器还执行以下步骤:
[0281]
根据提取得到的图像特征点在上述目标帧图像中的位置计算所述目标帧图像的质心位置,在所述质心位置位于所述目标帧图像的中心区域的情况下,确定上述目标帧图像为有效帧图像。
[0282]
作为一种可选的实现方式,上述程序指令被处理器执行根据提取得到的图像特征点在所述目标帧图像中的位置计算所述目标帧图像的质心位置的步骤时,使得处理器具体执行以下步骤:
[0283]
确定所述目标帧图像中的多个网格子区域;
[0284]
根据提取得到的图像特征点在所述目标帧图像中的位置确定各个图像特征点所在的网格子区域;
[0285]
根据所述多个网格子区域中每个网格子区域中的图像特征点数量,计算所述目标帧图像的质心位置。
[0286]
作为一种可选的实现方式,上述程序指令被处理器执行时,使得处理器还执行以下步骤:
[0287]
在上述质心位置不位于上述目标帧图像的中心区域的情况下,通过上述用户接口发出引导信息,上述引导信息用于提示用户调整摄像头拍摄位置。
[0288]
作为一种可选的实现方式,上述终端还包括:
[0289]
通信接口1206,用于与外部设备进行通信;
[0290]
上述程序指令被处理器执行输出上述目标帧图像的步骤时,使得处理器具体执行以下步骤:
[0291]
通过上述通信接口向服务器提交上述目标帧图像。
[0292]
其中,上述存储介质1201、处理器1202、摄像头1203、用户接口1204以 及通信接口1205通过总线1206连接。
[0293]
实施本申请实施例,可以避免终端输出成像效果不佳的图像,从而为用户提供成像效果良好的图像,提高终端处理图像的效率,增加用户的满意度。
[0294]
具体实现方式中,本申请实施例所描述的处理器1202、摄像头1203、用户接口1204以及通信接口1205可执行本申请实施例提供的前述各个实施例所描述的实现方式,也可执行本申请实施例所描述的终端的相关功能,在此不再赘述。
[0295]
在本申请的另一实施例中提供一种存储介质,上述存储介质存储有多条程序指令,上述程序指令被处理器执行时,使得处理器执行以下步骤:在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;在上述目标帧图像为有效帧图像的情况下,根据上述图像特征点的特征信息在上述摄像头拍摄到的上一帧图像中获取相应图像特征点;计算上述目标帧图像的图像特征点与上述上一帧图像中的相应图像特征点在图像中的位移距离;在根据上述位移距离确定上述目标帧图像为非运动状态下拍摄到的情况下,输出上述目标帧图像。
[0296]
上述存储介质可以是前述任一实施例所述的终端的内部存储单元,例如硬盘或内存。上述存储介质也可以是上述终端的外部存储设备,例如上述终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,上述存储介质还可以既包括上述终端的内部存储单元也包括外部存储设备。上述存储介质用于存储上述程序指令以及上述终端所需的其他程序和数据。上述存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0297]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储 器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0298]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0299]
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

权利要求书

[权利要求 1]
一种图像处理方法,执行于终端,其特征在于,所述方法包括: 在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点; 在所述目标帧图像为有效帧图像的情况下,获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点; 计算所述上一帧图像中的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的位移距离; 在根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的情况下,输出所述目标帧图像。
[权利要求 2]
如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点包括: 根据所述上一帧图像中的光流图像特征点的特征信息对所述光流图像特征点进行光流跟踪,根据所述目标帧图像中的至少一个图像特征点的特征信息在所述目标帧图像中跟踪得到所述光流图像特征点对应的图像特征点。
[权利要求 3]
如权利要求2所述的图像处理方法,其特征在于,所述方法还包括: 在所述摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据所述上一帧图像中的光流图像特征点的特征信息对所述光流图像特征点进行光流跟踪;若所述上一帧图像不是有效帧图像,则保存所述目标帧图像和所述至少一个图像特征点的特征信息,所述图像特征点被保存作为光流图像特征点用于进行光流跟踪。
[权利要求 4]
如权利要求3所述的图像处理方法,其特征在于,所述方法还包括: 若所述目标帧图像不是有效帧图像,则删除当前保存的有效帧图像和对应有效帧图像中的光流图像特征点的特征信息。
[权利要求 5]
如权利要求1-4中任一项所述的图像处理方法,其特征在于,所述特征 信息包括图像特征点的像素颜色信息或亮度信息。
[权利要求 6]
如权利要求1所述的图像处理方法,其特征在于,所述根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到包括: 计算所述上一帧图像中至少部分的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的平均位移距离; 在所述平均位移距离小于距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到。
[权利要求 7]
如权利要求6所述的图像处理方法,其特征在于,所述在所述平均位移距离小于距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到包括: 在包括所述目标帧图像在内的所述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离,在所述连续多帧图像中每两个相邻帧图像之间的平均位移距离均小于所述距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到。
[权利要求 8]
如权利要求1所述的图像处理方法,其特征在于,所述根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到包括: 计算所述上一帧图像中至少部分的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的平均位移距离; 根据所述平均位移距离和所述目标帧图像与上一帧图像之间的拍摄时间间距,计算所述目标帧图像与上一帧图像之间所述摄像头的拍摄位移速度; 在所述摄像头的拍摄位移速度小于速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到。
[权利要求 9]
如权利要求8所述的图像处理方法,其特征在于,所述在所述摄像头的拍摄位移速度小于速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到包括: 在包括所述目标帧图像在内的所述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离; 根据所述连续多帧图像中每两个相邻帧图像之间的平均位移距离和拍摄时间间距计算每两个相邻帧图像之间所述摄像头的拍摄位移速度; 在每两个相邻帧图像之间所述摄像头的拍摄位移速度均小于所述速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到。
[权利要求 10]
如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前还包括: 获取所述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量达到数量阈值的情况下,确定所述目标帧图像为有效帧图像。
[权利要求 11]
如权利要求10所述的图像处理方法,其特征在于,所述图像特征点的周围相邻像素点中像素特征区别于所述图像特征点的差异像素点占所有相邻像素点的比例达到比例阈值。
[权利要求 12]
如权利要求10所述的图像处理方法,其特征在于,所述方法还包括: 在提取得到的图像特征点的数量未达到所述数量阈值的情况下,发出引导信息,所述引导信息用于提示用户调整摄像头拍摄位置。
[权利要求 13]
如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前还包括: 计算所述目标帧图像的图像清晰度,在所述目标帧图像的清晰度达到清晰度阈值的情况下,确定所述目标帧图像为有效帧图像。
[权利要求 14]
如权利要求13所述的图像处理方法,其特征在于,所述计算所述目标帧图像的图像清晰度之前还包括: 获取所述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量未达到数量阈值的情况下,计算所述目标帧图像的图像清晰度,在所述目标帧图像的清晰度达到清晰度阈值的情况下,确定所述目标帧图像为有效帧图像。
[权利要求 15]
如权利要求13或14所述的图像处理方法,其特征在于,所述计算所述目标帧图像的图像清晰度包括: 计算所述目标帧图像的图像梯度值,根据所述图像梯度值确定所述目标帧图像的图像清晰度。
[权利要求 16]
如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前还包括: 根据提取得到的图像特征点在所述目标帧图像中的位置计算所述目标帧图像的质心位置,在所述质心位置位于所述目标帧图像的中心区域的情况下,确定所述目标帧图像为有效帧图像。
[权利要求 17]
如权利要求16所述的图像处理方法,其特征在于,所述根据提取得到的图像特征点在所述目标帧图像中的位置计算所述目标帧图像的质心位置包括: 确定所述目标帧图像中的多个网格子区域; 根据提取得到的图像特征点在所述目标帧图像中的位置确定各个图像特征点所在的网格子区域; 根据所述多个网格子区域中每个网格子区域中的图像特征点数量,计算所述目标帧图像的质心位置。
[权利要求 18]
如权利要求16所述的图像处理方法,其特征在于,所述方法还包括: 在所述质心位置不位于所述目标帧图像的中心区域的情况下,发出引导信息,所述引导信息用于提示用户调整摄像头拍摄位置。
[权利要求 19]
如权利要求1所述的图像处理方法,其特征在于,所述输出所述目标帧图像包括: 向服务器提交所述目标帧图像。
[权利要求 20]
一种用于图像处理的终端,其特征在于,所述终端包括: 存储介质,用于保存摄像头拍摄到的帧图像,并存储有程序指令; 所述处理器,用于执行所述程序指令;所述程序指令被所述处理器执行时,使得所述处理器执行以下步骤: 在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点; 在所述目标帧图像为有效帧图像的情况下,获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点; 计算所述上一帧图像中的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的位移距离; 在根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的情况下,输出所述目标帧图像。
[权利要求 21]
一种存储介质,其特征在于,所述存储介质中存储有多条程序指令,所述程序指令被处理器执行时执行如权利要求1-19中任一项所述的图像处理方法。

附图

[ 图 1A]  
[ 图 1B]  
[ 图 2A]  
[ 图 2B]  
[ 图 2C]  
[ 图 3A]  
[ 图 3B]  
[ 图 3C]  
[ 图 3D]  
[ 图 4]  
[ 图 5A]  
[ 图 5B]  
[ 图 5C]  
[ 图 6A]  
[ 图 6B]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11A]  
[ 图 11B]  
[ 图 12]