Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020140784 - VIDEO PROCESSING METHOD, VIDEO PROCESSING CONTROL APPARATUS AND DISPLAY CONTROL APPARATUS

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

附图

1   2   3   4   5   6   7   8   9   10   11   12   13  

说明书

发明名称 : 视频处理方法、视频处理控制装置、显示控制装置

[0001]
本申请要求于2019年01月02日提交的、申请号为201910002289.3的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本公开涉及显示技术领域,尤其涉及一种视频处理方法及视频处理控制装置、显示控制装置和显示装置。

背景技术

[0003]
虚拟现实(Virtual Reality,VR)系统是一种可以创建和体验虚拟世界的计算机仿真系统。在虚拟现实系统的应用中,图像延时会影响所显示的图像的质量,例如对于运动图像(视频)来说,可能会出现模糊现象。
[0004]
发明内容
[0005]
一方面,提供一种视频处理方法,包括:接收显示装置的运动信息;根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果;若是,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理;若否,继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0006]
在一些实施例中,所述显示装置的运动信息包括所述显示装置在三维坐标系中的X轴加速度Accel_X、Y轴加速度Accel_Y和Z轴加速度Accel_Z;所述运动阈值包括加速度阈值Accel_Threshol;d
[0007]
所述根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,包括:
[0008]
判断所述显示装置的运动信息与所述运动阈值是否满足:
[0009]
Sqrt(Accel_X 2+Accel_Y 2+Accel_Z 2)≥Accel_Threshold;
[0010]
若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果;若否,确认所述显示装置所处的运动状态不影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[0011]
在一些实施例中,所述接收显示装置的运动信息,包括:在第一预 设时间段内,逐一接收所述显示装置的m个运动信息,m为大于或等于2的整数;根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,还包括:
[0012]
根据所述显示装置的m个运动信息中的每个运动信息与所述运动阈值,逐一判断所述显示装置所处的m个运动状态中的每个运动状态是否均影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果;若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果;若否,确认所述显示装置所处的运动状态不影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[0013]
在一些实施例中,视频处理方法还包括,在所述根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果前,
[0014]
接收所述显示装置所显示的视频;所述视频包括多帧图像数据;判断所述多帧图像数据中的连续k帧图像数据是否均保持一致,k为大于或等于2的整数;若是,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理;若否,根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[0015]
在一些实施例中,若所述连续k帧图像数据未保持一致,在根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果之前,所述视频处理方法还包括:
[0016]
根据所述显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止;若是,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理;若否,根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示 装置所显示的视频进行处理的效果。
[0017]
在一些实施例中,所述显示装置的运动信息包括所述显示装置在三维坐标系中的X轴角速度Gyro_X、Y轴角速度Gyro_Y和Z轴角速度Gyro_Z;所述静止阈值包括角速度阈值GYRO_Threshold;
[0018]
所述根据显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止,包括:判断所述显示装置的运动信息和所述静止阈值是否满足:
[0019]
Sqrt(Gyro_X 2+Gyro_Y 2+Gyro_Z 2)≤GYRO_Threshold;若是,确认所述显示装置静止或近似静止;若否,确认所述显示装置处于运动状态。
[0020]
在一些实施例中,所述接收显示装置的运动信息包括:在第二预设时间段内,逐一接收所述显示装置的n个运动信息,n为大于或等于2的整数。所述根据显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止,还包括:根据所述显示装置的n个运动信息中的每个运动信息与所述静止阈值,逐一判断所述显示装置所处的n个状态中的每个状态是否均静止或近似静止;若是,确认所述显示装置静止或近似静止;若否,确认所述显示装置处于运动状态。
[0021]
另一方面,提供一种视频处理控制装置,包括:接收模块、处理模块和控制模块。接收模块被配置为接收显示装置的运动信息。处理模块与所述接收模块耦接,所述处理模块被配置为根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,并输出判断结果。控制模块与所述处理模块耦接,所述控制模块被配置为:根据所述判断结果,在所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号;在所述显示装置所处的运动状态不影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果的情况下,输出继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第二控制信号。
[0022]
在一些实施例中,所述显示装置的运动信息包括所述显示装置在三维坐标系中的X轴加速度Accel_X、Y轴加速度Accel_Y和Z轴加速度 Accel_Z;所述运动阈值包括加速度阈值Accel_Threshol。d
[0023]
所述处理模块被配置为:判断所述显示装置的运动信息与所述运动阈值是否满足:
[0024]
Sqrt(Accel_X 2+Accel_Y 2+Accel_Z 2)≥Accel_Threshold;
[0025]
若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果;若否,确认所述显示装置所处的运动状态没有影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对对所述显示装置所显示的视频进行处理的效果。
[0026]
在一些实施例中,所述接收模块被配置为在第一预设时间段内,逐一接收所述显示装置的m个运动信息,m为大于或等于2的整数。
[0027]
所述处理模块被配置为:根据所述显示装置的m个运动信息中的每个运动信息与所述运动阈值,逐一判断所述显示装置所处的m个运动状态中的每个运动状态是否均影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。若否,确认所述显示装置所处的运动状态没有影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[0028]
在一些实施例中,所述接收模块还被配置为接收所述显示装置所显示的视频,所述视频包括多帧图像数据。所述处理模块还被配置为:在所述根据所述显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果前,判断所述多帧图像数据中的连续k帧图像数据是否均保持一致,k为大于或等于2的整数;在所述连续k帧图像数据未保持一致的情况下,执行根据所述显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。所述控制模块还被配置为:在所述连续k帧图像数据均保持一致的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的 第一控制信号。
[0029]
在一些实施例中,所述处理模块还被配置为,在所述连续k帧图像数据未保持一致的情况下,执行根据显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果之前,根据所述显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止;在所述显示装置处于运动状态的情况下,执行根据显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。所述控制模块还被配置为:在所述显示装置静止或相对静止的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号。
[0030]
在一些实施例中,所述显示装置的运动信息包括所述显示装置在三维坐标系中X轴角速度Gyro_X、Y轴角速度Gyro_Y和Z轴角速度Gyro_Z;所述相对静止阈值包括角速度阈值GYRO_Threshold;
[0031]
所述处理模块被配置为:判断所述显示装置的运动信息和所述静止阈值是否满足:
[0032]
Sqrt(Gyro_X 2+Gyro_Y 2+Gyro_Z 2)≤GYRO_Threshold;若是,确认所述显示装置静止或近似静止;若否,确认所述显示装置处于运动状态。
[0033]
在一些实施例中,所述接收模块被配置为:在第二预设时间段内,逐一接收所述显示装置的n个运动信息,n为大于等于2的整数。所述处理模块被配置为:根据所述显示装置的n个运动信息中的每个运动信息与静止阈值,逐一判断所述显示装置所处的n个状态中的每个状态是否均静止或近似静止;若是,确认所述显示装置静止或近似静止;若否,确认所述显示装置处于运动状态。
[0034]
再一方面,提供一种显示控制装置,包括:视频处理器和如本公开所提供的视频处理控制装置。视频处理器被配置为采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。所述视频处理控制装置所包括的控制模块与所述视频处理器耦接,并向所述视频处理器输出控制信号。
[0035]
又一方面,提供一种显示装置,包括:运动感应单元和如上所述的显示控制装置,所述显示控制装置与所述运动感应单元耦接。
[0036]
又一方面,提供一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序指令,所述计算机程序指令在处理器上运行时,使得所述处理器执行如上述任一实施例所述的视频处理方法中的一个或多个步骤。
[0037]
又一方面,提供一种计算机程序产品。所述计算机程序产品包括计算机程序指令,在计算机上执行所述计算机程序指令时,所述计算机程序指令使计算机执行如上述任一实施例所述的视频处理方法中的一个或多个步骤。
[0038]
又一方面,提供一种计算机程序。当所述计算机程序在计算机上执行时,所述计算机程序使计算机执行如上述任一实施例所述的视频处理方法中的一个或多个步骤。

附图说明

[0039]
为了更清楚地说明本公开中的技术方案,下面将对本公开一些实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例的附图,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。此外,以下描述中的附图可以视作示意图,并非对本公开实施例所涉及的产品的实际尺寸、方法的实际流程、信号的实际时序等的限制。
[0040]
图1为根据一些实施例的视频处理方法的一种流程图;
[0041]
图2为根据一些实施例的视频处理方法的另一种流程图;
[0042]
图3为根据一些实施例的视频处理方法的再一种流程图;
[0043]
图4为根据一些实施例的视频处理方法的一种控制时序图;
[0044]
图5为根据一些实施例的视频处理方法的另一种控制时序图;
[0045]
图6为根据一些实施例的视频处理方法的又一种流程图;
[0046]
图7为根据一些实施例的视频处理方法的又一种流程图;
[0047]
图8为根据一些实施例的视频处理方法的再一种的控制时序图;
[0048]
图9为根据一些实施例的视频处理控制装置的结构图;
[0049]
图10为根据一些实施例的显示装置的一种结构图;
[0050]
图11为根据一些实施例的显示装置的另一种结构图;
[0051]
图12为根据一些实施例的显示装置的再一种结构图;
[0052]
图13为根据一些实施例的视频处理终端的结构图。

具体实施方式

[0053]
下面将结合附图,对本公开一些实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开所提供的实施例,本领域普通技术人员所获得的所有其他 实施例,都属于本公开保护的范围。
[0054]
除非上下文另有要求,否则,在整个说明书和权利要求书中,术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思,即为“包含,但不限于”。在说明书的描述中,术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外,所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
[0055]
在描述一些实施例时,可能使用了“耦接”和“连接”及其衍伸的表达。例如,描述一些实施例时可能使用了术语“连接”以表明两个或两个以上部件彼此间有直接物理接触或电接触。又如,描述一些实施例时可能使用了术语“耦接”以表明两个或两个以上部件有直接物理接触或电接触。然而,术语“耦接”或“通信耦合(communicatively coupled)”也可能指两个或两个以上部件彼此间并无直接接触,但仍彼此协作或相互作用。这里所公开的实施例并不必然限制于本文内容。
[0056]
在虚拟现实系统中,用户作为参与者,通过虚拟现实设备,可以对虚拟世界进行体验和交互作用。用户在进行移动、或者发生动作的同时,虚拟现实设备也会进行相应的运动,计算机可以立即进行复杂的运算,将精确的3D世界影像传回产生临场感。也就是说,虚拟现实设备所显示的视频,与虚拟现实设备的运动信息状态有关,而由于虚拟现实系统中存在图像延时问题,会导致虚拟现实设备所显示的视频帧相比虚拟现实设备当前时刻的运动状态延后出现,影响所显示的视频的质量,例如所显示的视频会出现模糊现象。而由于直接采用提升屏幕刷新率的方式会受到显示装置的硬件限制,无法有效解决图像延时问题。现有虚拟现实系统采用提升屏幕刷新率的方式,降低图像延时,但屏幕刷新率的提升受到图形处理器的渲染能力的限制,难以有效解决图像延时问题所造成的显示质量不佳的问题。
[0057]
相关技术中,虚拟现实设备采用基于运动补偿的帧速率上转换(Frame rate up conversion,FRUC)图像处理方式处理视频信息,以改善图像延时所导致的视频模糊现象,从而有效地提高所显示的视频的质量。
[0058]
基于运动补偿的帧速率上转换图像处理方式是采用动态映像系统,在传 统的两帧图像之间加插一帧运动补偿帧,以达到提高屏幕刷新率的目的,例如将虚拟现实设备的刷新率由原本的50/60Hz提升至100/120Hz。基于运动补偿的帧速率上转换图像处理方式主要包括运动估计(Motion Estimate,ME)步骤和补偿差值(Motion Compensation,MC)步骤,其中,运动估计步骤包括预估相邻两帧图像之间物体的运动轨迹,插值步骤包括根据根据相邻两帧图像信息,及所预估得到的该相邻两帧图像之间的物体的运动轨迹,获得相邻两帧图像之间所需要插入的一帧图像信息。但是,在相邻两帧图像之间物体的运动轨迹无法估计的情况下,基于运动补偿的帧速率上转换图像处理方式就会失效,此时若依旧采用基于运动补偿的帧速率上转换视频处理方式对视频进行处理,不仅会加重视频处理器的数据处理负担,还会因该图像处理方式失效,而导致虚拟现实设备所显示的视频出现比视频模糊现象更为严重的显示不良现象,例如所显示的视频与用户实际的运动状态不对应,从而引起人体不适,例如头晕目眩。
[0059]
本公开的发明人经研究发现,由于虚拟现实设备所显示的视频与虚拟现实设备的运动信息状态相对应,因此在虚拟现实设备所显示的视频中相邻两帧图像之间物体的运动轨迹无法估计的情况下,说明该虚拟现实设备所处的运动状态,对采用基于运动补偿的帧速率上转换视频处理方式对视频进行处理的效果造成了影响,导致该图像处理方式失效。示例性地,以虚拟现实设备为VR头显为例,在用户佩戴VR头显处于高速晃动等状态时,VR头显中所显示的视频的相邻两帧图像之间的物体的运动轨迹无法预估,基于运动补偿的帧速率上转换视频处理方式失效。
[0060]
基于此,如图1所示,本公开的一些实施例提供了一种视频处理方法,包括:
[0061]
S100、接收显示装置的运动信息。示例性地,显示装置的运动信息可以为该显示装置的加速度、角度速度等运动信息。
[0062]
S400、根据显示装置的运动信息及其运动阈值,判断显示装置所处的运动状态,是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。以下称对FRUC的处理效果产生影响的运动状态为复杂运动状态,称对FRUC的处理效果没有产生影响的运动状态为正常运动状态。
[0063]
若是,则说明显示装置处于复杂运动状态,例如高速晃动等。此时执行S500、停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0064]
若否,则说明显示装置处于正常运动状态,例如匀速移动等。此时执行S600、继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0065]
在一些实施例中,上述运动阈值可根据历史统计结果设定,并进行预存,在使用时调用预存的运动阈值即可。例如:可通过多次记录显示装置在多个运动状态下,显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果(以下简称视频处理效果),显示装置的运动状态用显示装置的运动信息表示,视频处理效果根据采用基于运动补偿的帧速率上转换处理方式后,显示装置所显示的视频是否出现严重不良显示现象而定。若显示装置所显示的视频出现严重不良显示现象,则表明显示装置当前时刻的运动状态对基于运动补偿的帧速率上转换处理方式的处理效果产生影响,基于运动补偿的帧速率上转换处理方式失效,视频处理效果为无效,若显示装置所显示的视频没有出现严重不良显示现象,且改善了视频模糊现象,则表明显示装置当前时刻的运动状态对基于运动补偿的帧速率上转换处理方式的处理效果无影响,基于运动补偿的帧速率上转换处理方式有效,视频处理效果为有效。
[0066]
示例性地,逐渐增大显示装置的运动的复杂性,例如由平缓移动逐渐变为剧烈晃动,记录在每个运动状态下的视频处理效果,得到显示装置的运动信息与视频处理效果之间的对应关系,根据该对应关系,确定视频处理效果由有效转变为无效的临界状态下所对应的显示装置的运动信息,视为临界运动信息,根据该临界运动信息确定运动阈值。
[0067]
可以理解的是,不同显示装置对应的运动阈值有所不同,对每个显示装置均应该进行事先设定运动阈值的操作。
[0068]
在一些实施例中,显示装置利用设置于其内部的视频处理器实现基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0069]
在上述实施例中,示例性地,S500中停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的实现方式为,该视频处理方法的执行装置向视频处理器发送第一控制信号,以控制视频处理器停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0070]
示例性地,S600中继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的实现方式为,该视频处理方法的执行装置向视频处理器发送第二控制信号,以控制视频处理器继续采用基于运动补 偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0071]
本公开所提供的视频处理方式中,根据显示装置的运动信息与运动阈值,判断显示装置所处的运动状态,是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,从而判断结果控制基于运动补偿的帧速率上转换处理方式应该继续采用还是停止。在判断结果为是的情况下,则说明显示装置处于复杂运动状态,在复杂运动状态下,采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果会受到影响,导致该图像处理方式失效,此时停止采用基于运动补偿的帧速率上转换视频处理方式对所述显示装置所显示的视频进行处理,这样能够降低视频处理器的数据处理负担,还能够避免因该图像处理方式失效,而导致显示装置所显示的视频出现更加严重的显示不良现象,而引起人体不适。而在判断结果为否的情况下,说明显示装置处于正常运动状态,在正常运动状态下,采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果不会受到影响,此时继续采用相关技术中的基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理,以保证显示装置所显示的视频不会因图像延时问题而出现视频模糊现象,从而提高显示装置的显示效果。
[0072]
因此,本公开实施例提供的视频处理方法,能够在显示装置处于正常运动状态下,改善视频模糊现象,保证视频质量,还能够在显示装置处于复杂运行状态下,降低视频处理器的数据处理负担,及避免所显示的视频出现更加严重的显示不良现象。
[0073]
在一些实施例中,上述显示装置的运动信息包括显示装置在三维坐标系中的X轴加速度Accel_X、Y轴加速度Accel_Y和Z轴加速度Accel_Z;其中,X轴、Y轴、Z轴相互垂直,X轴、Y轴和Z轴所构成的坐标系符合世界坐标系的要求。例如:在显示装置的显示面与地平面垂直,而与重力方向所在直线平行时,Z轴所在直线与重力方向所在直线平行,Z轴所在直线垂直于X轴和Y轴所形成的平面。
[0074]
上述运动阈值包括加速度阈值Accel_Threshold,在一些实施例中,加速度阈值Accel_Threshold根据视频处理效果由有效转变为无效的时刻,所对应的显示装置的临界运动信息设定,显示装置的临界运动信息包括X轴临界加速度Accel_X0、Y轴临界加速度Accel_Y0和Z轴临界加速度Accel_Z0。
[0075]
如图2所示,根据显示装置的运动信息及其运动阈值,判断显示装置所处的运动状态,是否影响显示装置采用基于运动补偿的帧速率上转换处理方 式对显示装置所显示的视频进行处理的效果的S400,包括:
[0076]
S410a、判断显示装置的运动信息与运动阈值是否满足:
[0077]
Sqrt(Accel_X 2+Accel_Y 2+Accel_Z 2)≥Accel_Threshold,
[0078]
若是,执行S420、确认显示装置所处的运动状态影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果;
[0079]
若否,执行S430、确认显示装置所处的运动状态不影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0080]
在一些实施例中,为了避免对显示装置所处状态的误判,接收显示装置的运动信息的S100,包括:在第一预设时间段内,逐一接收显示装置的m个运动信息,m为大于等于2的整数。
[0081]
如图3所示,根据显示装置的运动信息及其运动阈值,判断显示装置所处的运动状态是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果的S400,还包括:
[0082]
S410a、根据显示装置的m个运动信息中的每个运动信息与运动阈值,逐一判断显示装置所处的m个运动状态中的每个运动状态是否均影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果;
[0083]
若是,执行S420、确认显示装置所处的运动状态影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果;
[0084]
若否,执行S430、确认显示装置所处的运动状态不影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0085]
在上述实施例中,通过在第一预设时间段内,逐一接收显示装置的m个运动信息,m为大于等于2的整数,进而逐一判断显示装置所处的m个运动状态中的每个运动状态是否均影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果,这样通过分析第一预设时间段内,显示装置的至少两个运动状态,能够更加准确地确定该时间段内显示装置的运动状态是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果,从而避免了在某一时刻对显示装置的运动状态出现误判而输出错误指令,进一步保证了该视频处理 方法的准确性。
[0086]
在一些示例中,第一预设时间段T1≥2/FPS,FPS为视频帧率,这样可保证在第一预设时间段内所接收的显示装置的m个运动信息反映了显示装置连续刷新至少两幅图像时所处的运动状态,从而更加准确地确定该第一预设时间段内显示装置的运动状态是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。作为一种可能的设计,在第一预设时间段内,以第一接收频率逐一接收显示装置的m个运动信息,第一接收频率与显示装置所显示的视频的刷新率有关,例如,显示装置的运动信息的第一接收频率大于或等于视频帧率,根据第一预设时间段和第一接收频率,可以确定m的值。
[0087]
在一种可实现的方式中,可通过运动感应单元采集上述显示装置的运动信息,运动感应单元以固定采集频率采集显示装置的运动信息,并逐一将所采集的显示装置的运动信息发送至上述视频处理方法的执行装置。在一些示例中,固定采集频率与固定接收频率一致。若上述视频处理方法的执行装置需要逐一接收显示装置的m个运动信息,那么运动感应单元会连续采集m次采集的显示装置的运动信息。
[0088]
示例性的,在运动感应单元以1000Hz的采集频率采集上述显示装置的运动信息的情况下,例如显示装置的运动信息为X轴、Y轴和Z轴的加速度,此处统称为加速度信息,运动感应单元每1ms采集一次显示装置的加速度信息,并将所采集的显示装置的加速度信息以显示装置的加速度脉冲方式发送给上述视频处理方法的执行装置。
[0089]
进一步的,在S500中停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的实现方式为,该视频处理方法的执行装置向视频处理器发送第一控制信号,S600中继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的实现方式为,该视频处理方法的执行装置向视频处理器发送第二控制信号的情况下,第一控制信号和第二控制信号统称为控制信号,其中,第二控制信号为高电平信号,高电平信号可控制视频处理器继续采用基于运动补偿的帧速率上转换视频处理方式对视频进行处理;第一控制信号为低电平信号,低电平信号可控制视频处理器停止采用基于运动补偿的帧速率上转换图像处理方式对视频进行处理。
[0090]
基于此,如图4所示,当高电平信号控制视频处理器采用基于运动补偿的帧速率上转换图像处理方式对图像进行处理的时候,若根据显示装置的m 个加速度信息与运动阈值,判断出显示装置所处的m个状态均影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果,那么将控制信号从第二控制信号(高电平信号)转为第一控制信号(低电平信号),以利用低电平信号控制视频处理器停止采用基于运动补偿的帧速率上转换图像处理方式对图像进行处理。
[0091]
如图5所示,当低电平信号控制视频处理器停止采用基于运动补偿的帧速率上转换图像处理方式对视频进行处理的时候,若根据显示装置的m个加速度信息与运动阈值,判断出显示装置所处的m个状态没有均影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果,那么将控制信号从第一控制信号(低电平信号)转为第二控制信号(高电平信号),以利用高电平信号控制视频处理器采用基于运动补偿的FRUC图像处理方式对图像进行处理。
[0092]
可以理解的是,上述运动感应单元采集上述显示装置的加速度信息所处的时间段与上述控制信号控制视频处理器是否采用基于运动补偿的帧速率上转换图像处理方式对显示装置所显示的视频进行处理所处的时间段不同,但由于运动感应单元的采集频率在毫秒级别,时间非常短,所以,上述运动感应单元的加速度信息采集过程与控制信号控制视频处理器的控制过程的时间差异可以近似忽略。
[0093]
在一些实施例中,如图1所示,本公开提供的视频处理方法还包括:在所述根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果前,
[0094]
S001、接收显示装置所显示的视频;所述视频包括多帧图像数据;
[0095]
在一些示例中,S001接收显示装置所显示的视频与S100接收显示装置的运动信息可在同一时间执行,也可以在需要应用到视频信息或显示装置的运动信息时接收,具体根据实际情况决定。
[0096]
S200、判断所述多帧图像数据中的连续k帧图像数据是否均保持一致,k为大于或等于2的整数。
[0097]
若是,则执行S500,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0098]
若否,则执行S400,根据显示装置的运动信息及其运动阈值,判断显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0099]
由于在本公开中,基于运动补偿的帧速率上转换视频处理方式是通过预估相邻两帧图像之间物体的运动轨迹,根据相邻两帧图像信息及所述运动轨迹,获得相邻两帧图像之间所需要插入的一帧图像信息,以提升视频的刷新率,改善视频模糊现象,因此,在多帧图像数据中的连续k帧图像数据均保持一致的情况下,说明当前时刻视频为静止画面,连续k帧图像没有进行更新,因此,不需要同时也无法采用基于运动补偿的帧速率上转换视频处理方式对当前时刻的视频进行处理。
[0100]
在上述实施例中,通过接收所述显示装置所显示的视频,判断多帧图像数据中的连续k帧图像数据是否均保持一致,这样在判断结果为是的情况下,说明当前时刻的视频为静止画面,不需要基于运动补偿的帧速率上转换视频处理方式对当前时刻的视频进行处理,从而执行S500,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理,这样可以降低视频处理器的数据处理负担。在判断结果为是否的情况下,说明当前时刻的视频为动态画面,需要基于运动补偿的帧速率上转换视频处理方式对当前时刻的视频进行处理,从而执行S600。
[0101]
在显示装置静止或近似静止的情况下,显示装置所显示的视频并不会受到图像延时的影响而出现模糊现象,基于此,如图1所示,本公开的一些实施例所提供的视频处理方法还包括:在S200与S400之间,
[0102]
S300:根据显示装置的运动信息及其静止阈值,判断显示装置是否静止或近似静止。
[0103]
若是,则说明显示装置所处的状态并不会使显示装置所显示的视频受到图像延时的影响而出现模糊现象,因此不需要采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理,执行S500,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[0104]
若否,说明显示装置所处的状态为运动状态,则需要判断该运动状态为正常运动状态还是复杂运动状态,正常运动状态不会影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果,而复杂运动状态会影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。基于此,执行S400,根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[0105]
需要说明的是,上述显示装置静止或近似静止指的是显示装置完全不发生运动,或者,在视频处理方法的执行装置的所接收到的显示装置的运动信息的误差范围内,显示装置发生较小的移动,上述静止阈值可依据显示装置的移动幅度设定。
[0106]
在一种具体实现方式中,上述显示装置的运动信息包括显示装置在三维坐标系中的X轴角速度Gyro_X、Y轴角速度Gyro_Y和Z轴角速度Gyro_Z;其中,X轴、Y轴、Z轴的定义方式参照前文描述。
[0107]
上述静止阈值包括角速度阈值GYRO_Threshold,具体大小可根据显示装置的移动幅度设定。
[0108]
示例性的,如图6所示,根据显示装置的运动信息及其静止阈值,判断显示装置是否静止或者近似静止的S300,包括:
[0109]
S310a、判断显示装置的运动信息和所述静止阈值是否满足:
[0110]
Sqrt(Gyro_X 2+Gyro_Y 2+Gyro_Z 2)≤GYRO_Threshold;
[0111]
若是,执行S320、确认显示装置静止或近似静止。
[0112]
若否,执行S330、确认显示装置处于运动状态。
[0113]
在一些实施例中,接收显示装置的运动信息的S100,包括:在第二预设时间段T2内,逐一接收显示装置的n个运动信息,n为大于等于2的整数,n的大小可根据实际情况设定。
[0114]
如图7所示,根据显示装置的运动信息及其静止阈值,判断显示装置是否静止或近似静止的S300,还包括:
[0115]
S310b:根据显示装置的n个运动信息中的每个运动信息与静止阈值,逐一判断显示装置所处的n个状态中的每个状态是否均静止或近似静止;
[0116]
若是,执行S320、确认显示装置静止或近似静止。
[0117]
若否,执行S330、确认显示装置处于运动状态。
[0118]
在上述实施例中,通过在第二预设时间段内,逐一接收显示装置的n个运动信息,n为大于等于2的整数,进而逐一判断显示装置所处的n个状态中的每个状态是否均静止或近似静止,这样通过分析第二预设时间段内,显示装置的至少两个状态,能够更加准确地确定该时间段内显示装置是否静止或近似静止,从而避免了在某一时刻对显示装置的状态出现误判而输出错误指令,进一步保证了该视频处理方法的准确性。
[0119]
在一些示例中,第二预设时间段T2≥2/FPS,FPS为视频帧率,这样可保证在第二预设时间段内所接收的显示装置的n个运动信息反映了显示装置连 续刷新至少两幅图像时所处的状态,从而更加准确地确定该第二预设时间段内显示装置是否静止或近似静止。作为一种可能的设计,在第二预设时间段内,以第二接收频率逐一接收显示装置的n个运动信息,第二接收频率与显示装置所显示的视频的刷新率有关,例如,显示装置的运动信息的第一接收频率小于或等于视频帧率,根据第二预设时间段和第二接收频率,可以确定n的值。
[0120]
在一种可实现的方式中,可通过运动感应单元采集上述显示装置的运动信息,运动感应单元以固定采集频率采集上述显示装置的运动信息,并逐一将所采集的显示装置的运动信息发送至上述视频处理方法的执行装置。在一些示例中,固定采集频率与固定接收频率一致。若上述视频处理方法的执行装置需要接收显示装置的n个运动信息,那么运动感应单元会连续采集n次采集的显示装置的运动信息。
[0121]
示例性的,当运动感应单元以1000Hz的采集频率采集上述显示装置的运动信息的情况下,例如显示装置的运动信息为X轴、Y轴和Z轴的角速度,此处统称为角速度信息,运动感应单元每1ms采集一次显示装置的角速度信息,并将所采集的显示装置的角速度信息以显示装置的角速度脉冲方式发送给上述视频处理方法的执行装置。
[0122]
进一步的,在S500中停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的实现方式为,该视频处理方法的执行装置向视频处理器发送第一控制信号,S600中继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的实现方式为,该视频处理方法的执行装置向视频处理器发送第二控制信号的情况下,第一控制信号和第二控制信号统称为控制信号,其中,第二控制信号为高电平信号,高电平信号可控制视频处理器采用基于运动补偿的帧速率上转换图像处理方式对视频进行处理;第一控制信号为低电平信号时,低电平信号可控制视频处理器停止采用基于运动补偿的帧速率上转换图像处理方式对图像进行处理。
[0123]
基于此,如图8所示,当高电平信号控制视频处理器采用基于运动补偿的帧速率上转换图像处理方式对图像进行处理的时候,若根据显示装置的n个角速度信息与相对静止阈值,判断出显示装置所处的n个状态均为静止状态或近似静止状态时,那么将从第二控制信号(高电平信号)转为第一控制信号(低电平信号),以利用低电平信号可控制视频处理器停止采用基于运动补偿的帧速率上转换图像处理方式对图像进行处理。
[0124]
可以理解的是,上述运动感应单元采集上述显示装置的角速度信息所处的时间段与上述控制信号控制视频处理器采用基于运动补偿的帧速率上转换图像处理方式对显示装置所显示的视频进行处理所处的时间段不同,但由于运动感应单元的采集频率在毫秒级别,时间非常短,所以,上述运动感应单元的加速度信息采集过程与控制信号控制视频处理器的控制过程的时间差异可以近似忽略。
[0125]
在实现过程中,上述视频处理方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开实施例所提供的视频处理方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
[0126]
以上主要介绍了本公开实施例提供的视频处理方法。如图9所示,在本公开的一些实施例中,还提供了实现上述视频处理方法的视频处理控制装置01,下面将对视频处理控制装置01进行示例性的介绍。
[0127]
如图1、图9和图10所示,本公开的一些实施例所提供的视频处理控制装置01包括:接收模块110、处理模块120和控制模块130。
[0128]
接收模块110被配置为接收显示装置的运动信息。示例性地,接收模块110为收发器。
[0129]
处理模块120与接收模块110耦接,处理模块120被配置为根据显示装置的运动信息及其运动阈值,判断显示装置所处的运动状态,是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果,并输出判断结果。
[0130]
示例性地,上述处理模块120为处理器,该处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0131]
控制模块130与处理模块120耦接,控制模块130被配置为:根据判断结果,在显示装置所处的运动状态影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行 处理的第一控制信号,以控制视频处理器210停止采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理。在显示装置所处的运动状态不影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果的情况下,输出继续采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的第二控制信号,以控制视频处理器210继续采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理。
[0132]
示例性地,上述控制模块130为微控制单元(Microcontroller Unit;MCU)。
[0133]
本公开实施例提供的视频处理控制装置01,能够在显示装置处于正常运动状态下,改善视频模糊现象,保证视频质量,还能够在显示装置处于复杂运行状态下,降低视频处理器的数据处理负担,及避免所显示的视频出现更加严重的显示不良现象。有益效果的具体推理可参见前述视频处理方法中的相关内容,此处不再赘述。
[0134]
在一些实施例中,如图2、图9和图10所示,上述显示装置的运动信息包括在三维坐标系中的X轴加速度Accel_X、Y轴加速度Accel_Y和Z轴加速度Accel_Z;所述运动阈值包括加速度阈值Accel_Threshold。
[0135]
处理模块120被配置为:判断所述显示装置的运动信息与所述运动阈值是否满足:Sqrt(Accel_X 2+Accel_Y 2+Accel_Z 2)≥Accel_Threshold。
[0136]
若是,确认显示装置所处的运动状态影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0137]
若否,确认显示装置所处的运动状态没有影响显示装置采用基于运动补偿的帧速率上转换处理方式对对显示装置所显示的视频进行处理的效果。
[0138]
在一些实施例中,如图3、图9和图10所示,上述接收模块110被配置为在第一预设时间段T1内逐一接收显示装置的m个运动信息,m为大于等于2的整数。
[0139]
上述处理模块120被配置为:根据显示装置的m个运动信息中的每个运动信息与运动阈值,逐一判断显示装置所处的m个运动状态中的每个运动状态是否均影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0140]
若是,确认显示装置所处的运动状态影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果;若否,确认显示装置所处的运动状态没有影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0141]
在一些实施例中,如图1、图9和图10所示,所述接收模块110还被配置为接收显示装置所显示的视频;所述视频包括多帧图像数据。
[0142]
上述处理模块120还被配置为在根据所述显示装置的运动信息与运动阈值,判断显示装置所处的运动状态,是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果前,判断多帧图像数据中的连续k帧图像数据是否均保持一致,k为大于或等于2的整数。在连续k帧图像数据未保持一致的情况下,执行根据显示装置的运动信息与运动阈值,判断显示装置所处的运动状态,是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[0143]
上述控制模块130还被配置为在连续k帧图像数据均保持一致的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号,以控制视频处理器210停止采用基于运动补偿的帧速率上转换图像处理方式对视频进行处理。
[0144]
在一些实施例中,如图1、图9和图10所示,处理模块120还被配置为,在连续k帧图像数据未保持一致的情况下,执行根据显示装置的运动信息与运动阈值,判断显示装置所处的运动状态是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果之前,根据显示装置的运动信息及其静止阈值,判断显示装置是否静止或近似静止。在显示装置处于运动状态的情况下,执行根据显示装置的运动信息与运动阈值,判断显示装置所处的运动状态是否影响显示装置采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理的效果。
[0145]
上述控制模块130还被配置为:在所述显示装置静止或相对静止的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号,以控制视频处理器210采用基于运动补偿的帧速率上转换图像处理方式对视频进行处理。
[0146]
示例性的,如图6、图9和图11所示,上述显示装置的运动信息包括显示装置在三维坐标系中的X轴角速度Gyro_X、Y轴角速度Gyro_Y和Z轴角速度Gyro_Z;所述静止阈值包括角速度阈值GYRO_Threshold。
[0147]
上述处理模块120被配置为判断显示装置的运动信息和静止阈值是否满足:Sqrt(Gyro_X 2+Gyro_Y 2+Gyro_Z 2)≤GYRO_Threshold。
[0148]
若是,确认显示装置静止或近似静止;若否,确认显示装置处于运动状态。
[0149]
示例性的,如图7、图9和图11所示,上述接收模块110被配置为在第二预设时间段T2内逐一接收显示装置的n个运动信息,n为大于等于2的整数。
[0150]
上述处理模块120被配置为根据显示装置的n个运动信息中的每个运动信息与静止阈值,逐一判断显示装置所处的n个状态中的每个状态是否均静止或近似静止。若是,确认显示装置静止或近似静止;若否,确认显示装置处于运动状态。
[0151]
需要说明的是,上述“模块”(接收模块、处理模块、控制模块)用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,模块可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算设备上运行的应用和计算设备都可以是模块。
[0152]
另外,在本公开一些实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
[0153]
如图10所示,本公开的一些实施例还提供了一种显示控制装置02,该显示控制装置02包括视频处理器210以及上述视频处理控制装置01,其中,视频处理器210被配置为采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理。视频处理控制装置01被配置为控制视频处理器210是否采用基于运动补偿的帧速率上转换处理方式对显示装置所显示的视频进行处理。
[0154]
视频处理控制装置01所包括的控制模块130与视频处理器210耦接,并向视频处理器210输出控制信号,通过该控制信号,控制视频处理器210是否采用基于运动补偿的帧速率上转换图像处理方式对视频进行处理。
[0155]
与相关技术相比,本公开所提供的显示控制装置02的有益效果与上述视频处理方法的有益效果相同,在此不做赘述。
[0156]
在一些实施例中,如图10所示,上述显示控制装置02还包括视频数据接口220,视频处理控制装置01所包括的接收模块110还与视频数据接口220耦接,用以接收显示装置的视频信息。
[0157]
如图10~图12所示,本公开的一些实施例还提供了一种显示装置03,该显示装置03包括运动感应单元300以及上述显示控制装置02,该运动感应单元300与视频处理控制装置01所包括的接收模块110连接。其中,运动感应 单元300可向接收模块110提供显示装置03的运动信息。
[0158]
在一些示例中,显示装置03可以为虚拟现实装置、增强现实装置等。
[0159]
本公开所提供的显示装置03,能够在处于正常运动状态的情况下,改善所显示的视频的模糊现象,保证视频质量,还能够在处于复杂运行状态的情况下,降低显示装置中视频处理器的数据处理负担,及避免所显示的视频出现更加严重的显示不良现象。
[0160]
其中,上述运动感应单元300可设在显示装置03的机体内,运动感应单元300采集运动信息的采集频率大小可以根据实际情况设定,示例性地,运动感应单元300的采集频率小于视频帧率FPS,以确保一帧图像时间内可采集至少两次显示装置的运动信息。
[0161]
在一些实施例中,如图11所示,上述运动感应单元300为一体式结构,示例性地,运动感应单元300为惯性测量器310,惯性测量器310可测量显示装置03的角速度信息和加速度信息。惯性测量器310又称惯性测量单元(Inertial measurement unit,简称IMU)是测量物体三轴姿态角(即角速率)以及加速度的装置,其中含有三个单轴的加速度计和三个单轴的陀螺。
[0162]
在另一些实施例中,如图12所示,运动感应单元300为分体结构,示例性地,运动感应单元300包括三轴角速度传感器321和三轴加速度传感器322;三轴角速度传感器321被配置为采集显示装置03的角速度信息,三轴加速度传感器322被配置为采集显示装置03的加速度信息。
[0163]
本公开的一些实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序指令,所述计算机程序指令在处理器上运行时,使得处理器执行如本公开所提供的视频处理方法中的一个或多个步骤。
[0164]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
[0165]
本公开的一些实施例还提供一种计算机程序产品。所述计算机程序产品包括计算机程序指令,在计算机上执行所述计算机程序指令时,所述计算机程序指令使计算机执行如本公开所提供的视频处理方法中的一个或多个步骤。
[0166]
又一方面,提供一种计算机程序。当所述计算机程序在计算机上执行时,所述计算机程序使计算机执行如本公开所提供的视频处理方法中的一个或多 个步骤。
[0167]
如图13所示,本公开的一些实施例还提供了一种视频处理终端400,包括处理器430、收发器410、存储器420和总线440,处理器430、收发器410和存储器420通过总线440彼此通信。
[0168]
其中,存储器420被配置为存储多个指令以实现上述视频处理方法,处理器430被配置为执行所述多个指令以实现上述视频处理方法。
[0169]
在一些示例中,本公开的一些实施例所述的处理器430可以是一个处理器,也可以是多个处理元件的统称。例如,该处理器430可以是中央处理器(Central Processing Unit,简称CPU),也可以是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本公开实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)。
[0170]
或者,上述处理器430为ARM(Advanced RISC Machine)处理器、AP处理器、微控制单元(Microcontroller Unit;MCU)。其中,ARM处理器本身是32位设计,但也配备16位指令集,一般来讲比等价32位代码节省达35%,却能保留32位系统的所有优势;AP处理器又称基带芯片的处理器;微控制单元又称单片微型计算机(Single Chip Microcomputer)或者单片机,是把中央处理器(Central Process Unit;CPU)的频率与规格做适当缩减,并将内存(memory)、计数器(Timer)、USB、A/D转换、UART、PLC、DMA等周边接口,甚至LCD驱动电路都整合在单一芯片上,形成芯片级的计算机,为不同的应用场合做不同组合控制。
[0171]
存储器420可以是一个存储装置,也可以是多个存储元件的统称,且用于存储可执行程序代码等。且存储器420可以包括随机存储器(RAM),也可以包括非易失性存储器(non-volatile memory),例如磁盘存储器,闪存(Flash)等。
[0172]
总线440可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。该总线440可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0173]
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同 之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
[0174]
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

权利要求书

[权利要求 1]
一种视频处理方法,包括: 接收显示装置的运动信息; 根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 若是,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理; 若否,继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理。
[权利要求 2]
根据权利要求1所述的视频处理方法,其中,所述显示装置的运动信息包括所述显示装置在三维坐标系中的X轴加速度Accel_X、Y轴加速度Accel_Y和Z轴加速度Accel_Z;所述运动阈值包括加速度阈值Accel_Threshold; 所述根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,包括: 判断所述显示装置的运动信息与所述运动阈值是否满足: Sqrt(Accel_X 2+Accel_Y 2+Accel_Z 2)≥Accel_Threshold; 若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 若否,确认所述显示装置所处的运动状态不影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[权利要求 3]
根据权利要求1或2所述的视频处理方法,其中,所述接收显示装置的运动信息,包括:在第一预设时间段内,逐一接收所述显示装置的m个运动信息,m为大于或等于2的整数; 根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,还包括: 根据所述显示装置的m个运动信息中的每个运动信息与所述运动阈值,逐一判断所述显示装置所处的m个运动状态中的每个运动状态是否均影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显 示的视频进行处理的效果; 若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 若否,确认所述显示装置所处的运动状态不影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[权利要求 4]
根据权利要求1~3任一项所述的视频处理方法,还包括,在所述根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果前, 接收所述显示装置所显示的视频;所述视频包括多帧图像数据; 判断所述多帧图像数据中的连续k帧图像数据是否均保持一致,k为大于或等于2的整数; 若是,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理; 若否,根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[权利要求 5]
根据权利要求4所述的视频处理方法,其中,若所述连续k帧图像数据未保持一致,在根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果之前,所述视频处理方法还包括: 根据所述显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止; 若是,停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理; 若否,根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[权利要求 6]
根据权利要求5所述的视频处理方法,其中,所述显示装置的运动信息包括所述显示装置在三维坐标系中的X轴角速度Gyro_X、Y轴角速度 Gyro_Y和Z轴角速度Gyro_Z;所述静止阈值包括角速度阈值GYRO_Threshold; 所述根据显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止,包括: 判断所述显示装置的运动信息和所述静止阈值是否满足: Sqrt(Gyro_X 2+Gyro_Y 2+Gyro_Z 2)≤GYRO_Threshold; 若是,确认所述显示装置静止或近似静止; 若否,确认所述显示装置处于运动状态。
[权利要求 7]
根据权利要求5或6所述的视频处理方法,其中,所述接收显示装置的运动信息包括:在第二预设时间段内,逐一接收所述显示装置的n个运动信息,n为大于或等于2的整数; 所述根据显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止,还包括: 根据所述显示装置的n个运动信息中的每个运动信息与所述静止阈值,逐一判断所述显示装置所处的n个状态中的每个状态是否均静止或近似静止; 若是,确认所述显示装置静止或近似静止; 若否,确认所述显示装置处于运动状态。
[权利要求 8]
一种视频处理控制装置,包括: 接收模块,被配置为接收显示装置的运动信息; 与所述接收模块耦接的处理模块,所述处理模块被配置为根据所述显示装置的运动信息及其运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果,并输出判断结果;和 与所述处理模块耦接的控制模块,所述控制模块被配置为:根据所述判断结果,在所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号;在所述显示装置所处的运动状态不影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果的情况下,输出继续采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第二控制信号。
[权利要求 9]
根据权利要求8所述的视频处理控制装置,其中,所述显示装置的运 动信息包括所述显示装置在三维坐标系中的X轴加速度Accel_X、Y轴加速度Accel_Y和Z轴加速度Accel_Z;所述运动阈值包括加速度阈值Accel_Threshold; 所述处理模块被配置为: 判断所述显示装置的运动信息与所述运动阈值是否满足: Sqrt(Accel_X 2+Accel_Y 2+Accel_Z 2)≥Accel_Threshold; 若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 若否,确认所述显示装置所处的运动状态没有影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对对所述显示装置所显示的视频进行处理的效果。
[权利要求 10]
根据权利要求8或9所述的视频处理控制装置,其中,所述接收模块被配置为在第一预设时间段内,逐一接收所述显示装置的m个运动信息,m为大于或等于2的整数; 所述处理模块被配置为: 根据所述显示装置的m个运动信息中的每个运动信息与所述运动阈值,逐一判断所述显示装置所处的m个运动状态中的每个运动状态是否均影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 若是,确认所述显示装置所处的运动状态影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 若否,确认所述显示装置所处的运动状态没有影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果。
[权利要求 11]
根据权利要求8~10任一项所述的视频处理控制装置,其中, 所述接收模块还被配置为接收所述显示装置所显示的视频,所述视频包括多帧图像数据; 所述处理模块还被配置为:在所述根据所述显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果前, 判断所述多帧图像数据中的连续k帧图像数据是否均保持一致,k为大于或等于2的整数;在所述连续k帧图像数据未保持一致的情况下,执行根据所述显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态,是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 所述控制模块还被配置为:在所述连续k帧图像数据均保持一致的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号。
[权利要求 12]
根据权利要求11所述的视频处理控制装置,其中, 所述处理模块还被配置为,在所述连续k帧图像数据未保持一致的情况下,执行根据显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果之前,根据所述显示装置的运动信息及其静止阈值,判断所述显示装置是否静止或近似静止;在所述显示装置处于运动状态的情况下,执行根据显示装置的运动信息与运动阈值,判断所述显示装置所处的运动状态是否影响所述显示装置采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的效果; 所述控制模块还被配置为:在所述显示装置静止或相对静止的情况下,输出停止采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理的第一控制信号。
[权利要求 13]
根据权利要求12所述的视频处理控制装置,其中,所述显示装置的运动信息包括所述显示装置在三维坐标系中的X轴角速度Gyro_X、Y轴角速度Gyro_Y和Z轴角速度Gyro_Z;所述相对静止阈值包括角速度阈值GYRO_Threshold; 所述处理模块被配置为: 判断所述显示装置的运动信息和所述静止阈值是否满足: Sqrt(Gyro_X 2+Gyro_Y 2+Gyro_Z 2)≤GYRO_Threshold; 若是,确认所述显示装置静止或近似静止; 若否,确认所述显示装置处于运动状态。
[权利要求 14]
根据权利要求12或13所述的视频处理控制装置,其中, 所述接收模块被配置为:在第二预设时间段内,逐一接收所述显示装置的n个运动信息,n为大于等于2的整数; 所述处理模块被配置为:根据所述显示装置的n个运动信息中的每个运 动信息与静止阈值,逐一判断所述显示装置所处的n个状态中的每个状态是否均静止或近似静止; 若是,确认所述显示装置静止或近似静止; 若否,确认所述显示装置处于运动状态。
[权利要求 15]
一种显示控制装置,包括: 视频处理器,被配置为采用基于运动补偿的帧速率上转换处理方式对所述显示装置所显示的视频进行处理; 如权利要求8~14中任一项所述视频处理控制装置,所述视频处理控制装置所包括的控制模块与所述视频处理器耦接,并向所述视频处理器输出控制信号。
[权利要求 16]
一种显示装置,包括: 运动感应单元; 如权利要求15所述的显示控制装置,所述显示控制装置与所述运动感应单元耦接。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13]