Suche in nationalen und internationalen Patentsammlungen
Einige Inhalte dieser Anwendung sind derzeit nicht verfügbar.
Wenn diese Situation weiterhin besteht, kontaktieren Sie uns bitte unterFeedback&Kontakt
1. (CN107610108) Image processing method and device
Anmerkung: Text basiert auf automatischer optischer Zeichenerkennung (OCR). Verwenden Sie bitte aus rechtlichen Gründen die PDF-Version.

权利要求书

1.一种图像处理方法,其特征在于,所述方法包括:
在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;
确定所述目标帧图像中的多个网格子区域;
根据提取得到的图像特征点在所述目标帧图像中的位置确定各个图像特征点所在的网格子区域;
根据所述多个网格子区域中每个网格子区域中的图像特征点数量,计算所述目标帧图像的质心位置;所述根据所述多个网格子区域中每个网格子区域中的图像特征点数量计算所述目标帧图像的质心位置包括:将所述目标帧图像切分成N×M的网格,统计每个所述网格中包含的特征点数,形成N×M的密度矩阵;根据提取得到的图像特征点在上述目标帧图像中的位置确定各个图像特征点所在的网格子区域,并按网格平均的图像特征点数量过滤部分网格子区域;以过滤后的密度矩阵中特征点计数为权重,计算密度矩阵的质心位置;
在所述质心位置位于所述目标帧图像的中心区域的情况下,确定所述目标帧图像为有效帧图像;
在所述目标帧图像为有效帧图像的情况下,获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点;
计算所述上一帧图像中的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的位移距离;
在根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的情况下,输出所述目标帧图像并上传至服务器;
所述根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的包括:
计算所述上一帧图像中至少部分的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
根据所述平均位移距离和所述目标帧图像与上一帧图像之间的拍摄时间间距,计算所述目标帧图像与上一帧图像之间所述摄像头的拍摄位移速度;
在所述摄像头的拍摄位移速度小于速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

2.如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点包括:
根据所述上一帧图像中的光流图像特征点的特征信息对所述光流图像特征点进行光流跟踪,根据所述目标帧图像中的至少一个图像特征点的特征信息在所述目标帧图像中跟踪得到所述光流图像特征点对应的图像特征点。

3.如权利要求2所述的图像处理方法,其特征在于,所述方法还包括:
在所述摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据所述上一帧图像中的光流图像特征点的特征信息对所述光流图像特征点进行光流跟踪;若所述上一帧图像不是有效帧图像,则保存所述目标帧图像和所述至少一个图像特征点的特征信息,所述图像特征点被保存作为光流图像特征点用于进行光流跟踪。

4.如权利要求3所述的图像处理方法,其特征在于,所述方法还包括:
若所述目标帧图像不是有效帧图像,则删除当前保存的有效帧图像和对应有效帧图像中的光流图像特征点的特征信息。

5.如权利要求1-4中任一项所述的图像处理方法,其特征在于,所述特征信息包括图像特征点的像素颜色信息或亮度信息。

6.如权利要求1所述的图像处理方法,其特征在于,所述根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的包括:
计算所述上一帧图像中至少部分的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
在所述平均位移距离小于距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

7.如权利要求6所述的图像处理方法,其特征在于,所述在所述平均位移距离小于距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的包括:
在包括所述目标帧图像在内的所述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离,在所述连续多帧图像中每两个相邻帧图像之间的平均位移距离均小于所述距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

8.如权利要求1所述的图像处理方法,其特征在于,所述在所述摄像头的拍摄位移速度小于速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的包括:
在包括所述目标帧图像在内的所述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离;
根据所述连续多帧图像中每两个相邻帧图像之间的平均位移距离和拍摄时间间距计算每两个相邻帧图像之间所述摄像头的拍摄位移速度;
在每两个相邻帧图像之间所述摄像头的拍摄位移速度均小于所述速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

9.如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前还包括:
获取所述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量达到数量阈值的情况下,确定所述目标帧图像为有效帧图像。

10.如权利要求9所述的图像处理方法,其特征在于,所述图像特征点的周围相邻像素点中像素特征区别于所述图像特征点的差异像素点占所有相邻像素点的比例达到比例阈值。

11.如权利要求9所述的图像处理方法,其特征在于,所述方法还包括:
在提取得到的图像特征点的数量未达到所述数量阈值的情况下,发出引导信息,所述引导信息用于提示用户调整摄像头拍摄位置。

12.如权利要求1所述的图像处理方法,其特征在于,所述获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前还包括:
计算所述目标帧图像的图像清晰度,在所述目标帧图像的清晰度达到清晰度阈值的情况下,确定所述目标帧图像为有效帧图像。

13.如权利要求12所述的图像处理方法,其特征在于,所述计算所述目标帧图像的图像清晰度之前还包括:
获取所述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量未达到数量阈值的情况下,计算所述目标帧图像的图像清晰度,在所述目标帧图像的清晰度达到清晰度阈值的情况下,确定所述目标帧图像为有效帧图像。

14.如权利要求12或13所述的图像处理方法,其特征在于,所述计算所述目标帧图像的图像清晰度包括:
计算所述目标帧图像的图像梯度值,根据所述图像梯度值确定所述目标帧图像的图像清晰度。

15.如权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
在所述质心位置不位于所述目标帧图像的中心区域的情况下,发出引导信息,所述引导信息用于提示用户调整摄像头拍摄位置。

16.如权利要求1所述的图像处理方法,其特征在于,所述输出所述目标帧图像包括:
向服务器提交所述目标帧图像。

17.一种图像处理装置,其特征在于,所述装置包括:
存储介质,用于保存摄像头拍摄到的帧图像,并存储有程序指令,所述程序指令适于由处理器加载;
所述处理器,用于加载所述程序指令并执行以下操作:
在摄像头拍摄到的目标帧图像中提取得到至少一个图像特征点;
确定所述目标帧图像中的多个网格子区域;
根据提取得到的图像特征点在所述目标帧图像中的位置确定各个图像特征点所在的网格子区域;
根据所述多个网格子区域中每个网格子区域中的图像特征点数量,计算所述目标帧图像的质心位置;所述根据所述多个网格子区域中每个网格子区域中的图像特征点数量计算所述目标帧图像的质心位置包括:将所述目标帧图像切分成N×M的网格,统计每个所述网格中包含的特征点数,形成N×M的密度矩阵;根据提取得到的图像特征点在上述目标帧图像中的位置确定各个图像特征点所在的网格子区域,并按网格平均的图像特征点数量过滤部分网格子区域;以过滤后的密度矩阵中特征点计数为权重,计算密度矩阵的质心位置;
在所述质心位置位于所述目标帧图像的中心区域的情况下,确定所述目标帧图像为有效帧图像;
在所述目标帧图像为有效帧图像的情况下,获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点;
计算所述上一帧图像中的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的位移距离;
在根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的情况下,输出所述目标帧图像并上传至服务器;
所述处理器加载所述程序指令执行以下操作以根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的包括:
计算所述上一帧图像中至少部分的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
根据所述平均位移距离和所述目标帧图像与上一帧图像之间的拍摄时间间距,计算所述目标帧图像与上一帧图像之间所述摄像头的拍摄位移速度;
在所述摄像头的拍摄位移速度小于速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

18.如权利要求17所述的图像处理装置,其特征在于,所述处理器加载所述程序指令执行以下操作以获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息,并结合所述至少一个图像特征点的特征信息在所述至少一个图像特征点中确定与所述光流图像特征点对应的图像特征点包括:
根据所述上一帧图像中的光流图像特征点的特征信息对所述光流图像特征点进行光流跟踪,根据所述目标帧图像中的至少一个图像特征点的特征信息在所述目标帧图像中跟踪得到所述光流图像特征点对应的图像特征点。

19.根据权利要求18所述的图像处理装置,其特征在于,所述处理器加载所述程序指令还执行以下操作:
在所述摄像头拍摄到的上一帧图像为有效帧图像的情况下,根据所述上一帧图像中的光流图像特征点的特征信息对所述光流图像特征点进行光流跟踪;若所述上一帧图像不是有效帧图像,则在所述存储介质保存所述目标帧图像和所述至少一个图像特征点的特征信息,所述图像特征点被保存作为光流图像特征点用于进行光流跟踪。

20.根据权利要求19所述的图像处理装置,其特征在于,所述处理器加载所述程序指令还执行以下操作:
若所述目标帧图像不是有效帧图像,则删除当前保存的有效帧图像和对应有效帧图像中的光流图像特征点的特征信息。

21.根据权利要求17-20任一项所述的图像处理装置,其特征在于,所述特征信息包括图像特征点的像素颜色信息或亮度信息。

22.如权利要求17所述的图像处理装置,其特征在于,所述处理器加载所述程序指令执行以下操作以根据所述位移距离确定所述目标帧图像为非运动状态下拍摄到的包括:
计算所述上一帧图像中至少部分的光流图像特征点与所述目标帧图像中对应的图像特征点在帧图像中的平均位移距离;
在所述平均位移距离小于距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

23.如权利要求22所述的图像处理装置,其特征在于,所述处理器加载所述程序指令执行以下操作以在所述平均位移距离小于距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的包括:
在包括所述目标帧图像在内的所述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离,在所述连续多帧图像中每两个相邻帧图像之间的平均位移距离均小于所述距离阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

24.如权利要求17所述的图像处理装置,其特征在于,所述处理器加载所述程序指令执行以下操作以在所述摄像头的拍摄位移速度小于速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的包括:
在包括所述目标帧图像在内的所述摄像头拍摄到的连续多帧图像中,分别计算每一帧图像的光流图像特征点与其下一帧图像中对应的图像特征点在帧图像中的平均位移距离;
根据所述连续多帧图像中每两个相邻帧图像之间的平均位移距离和拍摄时间间距计算每两个相邻帧图像之间所述摄像头的拍摄位移速度;
在每两个相邻帧图像之间所述摄像头的拍摄位移速度均小于所述速度阈值的情况下,确定所述目标帧图像为非运动状态下拍摄到的。

25.如权利要求17所述的图像处理装置,其特征在于,在获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前,所述处理器加载所述程序指令还执行以下操作:
获取所述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量达到数量阈值的情况下,确定所述目标帧图像为有效帧图像。

26.如权利要求25所述的图像处理装置,其特征在于,所述图像特征点的周围相邻像素点中像素特征区别于所述图像特征点的差异像素点占所有相邻像素点的比例达到比例阈值。

27.如权利要求25所述的图像处理装置,其特征在于,还包括:
摄像头,用于拍摄帧图像;
用户接口,用于与用户进行交互;
所述处理器加载所述程序指令还执行以下操作:
在提取得到的图像特征点的数量未达到所述数量阈值的情况下,通过所述用户接口发出引导信息,所述引导信息用于提示用户调整所述摄像头的拍摄位置。

28.根据权利要求17所述的图像处理装置,其特征在于,在获取所述摄像头拍摄到的上一帧图像中至少一个光流图像特征点的特征信息之前,所述处理器加载所述程序指令还执行以下操作:
计算所述目标帧图像的图像清晰度,在所述目标帧图像的清晰度达到清晰度阈值的情况下,确定所述目标帧图像为有效帧图像。

29.根据权利要求28所述的图像处理装置,其特征在于,所述计算所述目标帧图像的图像清晰度之前,所述处理器加载所述程序指令还执行以下操作:
获取所述目标帧图像中提取得到的图像特征点的数量,在提取得到的图像特征点的数量未达到数量阈值的情况下,计算所述目标帧图像的图像清晰度,在所述目标帧图像的清晰度达到清晰度阈值的情况下,确定所述目标帧图像为有效帧图像。

30.根据权利要求28或29所述的图像处理装置,其特征在于,所述处理器加载所述程序指令执行以下操作以计算所述目标帧图像的图像清晰度包括:
计算所述目标帧图像的图像梯度值,根据所述图像梯度值确定所述目标帧图像的图像清晰度。

31.如权利要求17所述的图像处理装置,其特征在于,还包括:
摄像头,用于拍摄帧图像;
用户接口,用于与用户进行交互;
所述处理器加载所述程序指令还执行以下操作:
在所述质心位置不位于所述目标帧图像的中心区域的情况下,通过所述用户接口发出引导信息,所述引导信息用于提示用户调整摄像头拍摄位置。

32.如权利要求17所述的图像处理装置,其特征在于,还包括:
通信接口,用于与外部设备进行通信;
所述处理器加载所述程序指令执行以下操作以输出所述目标帧图像:
通过所述通信接口向服务器提交所述目标帧图像。

33.一种存储介质,其特征在于,所述存储介质中存储有多条程序指令,所述程序指令适于由处理器加载并执行如权利要求1-16中任一项所述的图像处理方法。