Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. CN109729405 - Video processing method and device, electronic equipment and storage medium

Note: Texte fondé sur des processus automatiques de reconnaissance optique de caractères. Seule la version PDF a une valeur juridique

[ ZH ]
视频处理方法、装置、电子设备及存储介质


技术领域
本申请涉及电子设备技术领域,更具体地,涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展,电子设备已经成为人们日常生活中最常用的电子产品之一。并且,用户经常会通过电子设备看视频或玩游戏等,为了获得良好的视频观看体验,可能对视频进行处理,但是对视频的处理可能导致电子设备运行功耗过高。
发明内容
鉴于上述问题,本申请提出了一种视频处理方法、装置、电子设备及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种视频处理方法,应用于电子设备,所述方法包括:接收对视频进行低功耗增强的增强指令;对所述视频的至少部分视频帧选取功耗低于第一增强处理方式的第二增强处理方式,其中,所述第一增强处理方式为对视频进行非低功耗增强时对应的增强处理方式;对视频的视频帧通过对应的增强处理方式进行显示增强处理,所述显示增强处理通过调节视频帧的图像参数提高视频帧的画质。
第二方面,本申请实施例提供了一种视频处理装置,应用于电子设备,所述装置包括:指令接收模块,用于接收对视频进行低功耗增强的增强指令;选取模块,用于对所述视频的至少部分视频帧选取功耗低于第一增强处理方式的第二增强处理方式,其中,所述第一增强处理方式为对视频进行非低功耗增强时对应的增强处理方式;处理模块,用于对视频的视频帧通过对应的增强处理方式进行显示增强处理,所述显示增强处理通过调节视频帧的图像参数提高视频帧的画质。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个程序。其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述的方法。
本申请实施例提供的视频处理方法、装置、电子设备及存储介质,在低功耗增强的增强指令下,至少部分视频帧选取的增强处理方式功耗低于非低功耗增强时对应的增强处理方式,从而使至少部分视频帧的增强功耗更低,降低视频处理的整体功耗。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的视频播放的流程示意图。
图2示出了本申请一实施例提供的视频处理方法的流程图。
图3示出了本申请一实施例提供的视频处理方法中视频增强开关的一种显示示意图。
图4示出了本申请一实施例提供的视频处理方法中视频增强开关的另一种显示示意图。
图5示出了本申请一实施例提供的视频处理方法中视频增强开关的又一种显示示意图。
图6示出了本申请另一实施例提供的视频处理方法的流程图。
图7示出了本申请实施例提供的视频处理装置的功能模块图。
图8示出了本申请实施例提供的电子设备的结构框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1,图1示出了视频播放的流程。具体地,操作系统在获取到待播放的数据的时候,接下来的工作就是解析音视频数据。一般的视频文件都由视频流和音频流两部分组成,不同的视频格式音视频的封装格式不一样。将音频流和视频流合成文件的过程称为muxer,反之从媒体文件中分离音频流和视频流的过程称为demuxer。播放视频文件就需要从文件流中分离出音频流和视频流,分别对其进行解码,解码后的视频帧可以直接渲染,相应的音频可以送到音频输出设备的缓冲区进行播放,当然,视频渲染和音频播放的时间戳需要控制同步。其中,每个视频帧为视频对应的每一帧图像。
具体地,视频解码可以包括硬解码和软解码,硬件解码是将原来全部交由中央处理器(Central Processing Unit,CPU)来处理的视频数据的一部分交由图形处理器(Graphics Processing Unit,GPU)来做,而GPU的并行运算能力要远远高于CPU,这样可以大大的降低对CPU的负载,CPU的占用率降低了之后就可以同时运行一些其他的程序了,当然,对于较好的处理器来说,比如i5 2320,或者AMD任何一款四核心处理器来说,既可以进行硬解码,也可以进行软解码。
具体地,如图1所示,多媒体框架(Media Framework)通过与客户端的API接口获取客户端待播放的视频文件,并交由视频编解码器(Video Decode)。其中,Media Framework为Android系统中多媒体框架,MediaPlayer、MediaPlayerService和Stagefrightplayer三个部分构成了Android多媒体的基本框架。多媒体框架部分采用了C/S的结构,MediaPlayer作为C/S结构的Client端,MediaPlayerService和Stagefrightplayer作为C/S结构Server端,承担着播放多媒体文件的责任,通过Stagefrightplayer,Server端完成Client端的请求并作出响应。视频解码器Video Decode是一款集成了最常用的音频和视频解码与播放的超级解码器,用于将视频数据解码。
其中,软解码,即通过软件让CPU来对视频进行解码处理。而硬解码,指不借助于CPU,而通过专用的子卡设备来独立完成视频解码任务。
不论是硬解码还是软解码,在将视频数据解码之后,会将解码后的视频数据发送至图层传递模块(SurfaceFlinger),如图1所示,硬解码后的视频数据通过视频驱动程序发送至SurfaceFlinger。SurfaceFlinger将解码后的视频数据渲染和合成之后,在显示屏上显示。其中,SurfaceFlinger是一个独立的Service,它接收所有Window的Surface作为输入,根据ZOrder、透明度、大小、位置等参数,计算出每个Surface在最终合成图像中的位置,然后交由HWComposer或OpenGL生成最终的显示Buffer,然后显示到特定的显示设备上。
如图1所示,软解码中,CPU将视频数据解码之后交给SurfaceFlinger渲染和合成,而硬解码由GPU解码之后,交由SurfaceFlinger渲染和合成。而SurfaceFlinger会调用GPU实现图像的渲染和合成,并在显示屏上显示。
为了获得良好的显示效果,可以对视频增进行显示增强处理,该显示增强处理可以在解码后进行,在显示增强处理后再进行渲染合成后在显示屏显示。其中,显示增强处理通过调节视频帧的图像参数提高视频帧的画质,提高视频的显示效果,获得更良好的观看体验。其中,视频帧的画质可以包括清晰度、锐度、饱和度、细节、镜头畸变、色彩、解析度、色域范围以及纯度等参数,通过调节画质相关的各种参数使图像更符合人眼的观看偏好,用户观看体验更好。如使视频的清晰度越高、噪声越小、细节越清晰、饱和度越高等,表示视频画质越好,用户观看体验更好,显示增强处理的效果越好。其中,对画质中不同组合的参数进行调整,代表了对视频的不同增强处理方式,每种增强处理方式中包括相应的图像处理算法,用于对视频帧进行图像处理以调节视频帧的图像参数,提高视频帧的画质。
但是,显示增强需要占用电子设备较多的运行资源,使开启显示增强处理后,电子设备的能耗过高,降低电子设备的续航时间,并且也可能使电子设备温度过高。因此,在某些情况下,如电量过低、用户想要使电子设备在下次充电之前具有更长的使用时间等,需要使电子设备在对视频的增强处理的同时能具有更低的功耗。因此,发明人提出了本申请实施例的视频处理方法、装置、电子设备及存储介质,对视频的至少部分视频帧选取功耗较低的增强处理方式,以降低在视频增强时的处理功耗。下面将通过具体实施例对本申请实施例提供的视频处理方法、装置、电子设备及存储介质进行详细说明。
请参阅图2,示出了本申请实施例提供的视频处理方法。所述视频处理方法用于对至少部分视频帧采取低功耗对应的增强处理方式,降低视频处理时的功耗。在具体的实施例中,所述视频处理方法应用于如图7所示的视频处理装置300以及配置有所述视频处理装置300的电子设备400(图8)。下面将以电子设备为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的电子设备可以为智能手机、平板电脑、计算机、穿戴式电子设备、车载设备、网关等具有视频处理能力的设备,在此不做具体的限定。具体的,该方法包括:
步骤S110:接收对视频进行低功耗增强的增强指令。
电子设备可以对获取到视频数据通过解码、增强处理以及渲染合成后进行显示。其中,电子设备可以从服务器获取视频数据、可以从本地获取视频数据,也可以从其他电子设备获取视频数据。
具体地,当视频数据由电子设备从服务器获取时,那么该视频数据可以是电子设备从服务器下载,或者电子设备从服务器在线获取。例如,视频数据可以是电子设备通过安装的视频播放软件下载,或者在该视频播放软件在线获取的视频数据。其中,该服务器可以为云服务器。当视频数据从电子设备的本地获取时,该视频数据可以是电子设备预先下载并存储在本地存储器中的。当视频数据由电子设备从其他电子设备获取时,该视频数据可以由其他电子设备通过无线通信协议传输至所述电子设备,例如,通过WLAN协议、蓝牙协议、ZigBee协议或者WiFi协议等,也可以由其他电子设备通过数据网络传输至所述电子设备,例如,2G网络、3G网络或者4G网络等,在此不做限定。
电子设备获取到视频数据,再对该视频数据进行解码以及渲染合成等处理后,通过显示器进行播放。
在播放视频时,若接收到对视频进行低功耗增强的增强指令,可以对视频进行功耗较低的增强处理,在提示视频的显示画质的同时保持尽可能低的功耗。
作为一种实施方式,低功耗增强的增强指令,可以是由电子设备在视频开启时生成,作为接收到的低功耗增强的增强指令。例如,播放视频的应用程序的默认设置为开启低功耗增强,则在开启视频时,生成低功耗增强的增强指令。又如,播放视频的应用程序在前一次关闭时开启的为低功耗增强的增强指令,则再次打开该应用程序的同时开启低功耗增强的增强指令。或者是该视频在前一次关闭时开启的为低功耗增强的增强指令,则再次打开该视频时,生成对视频进行低功耗增强的增强指令。
作为一种实施方式,该低功耗增强的增强指令也可以是在视频播放过程中接收到的用户触发。例如,对应视频设置有不同等级的视频增强,不同等级的视频增强对应的功耗不同,最高等级的视频增强,功耗最高,等级越低的视频增强,功耗越低。当然,通常功耗越高的视频增强处理,其增强效果越好,因此,各个不同等级的视频增强对应的增强效果不同。若用户开启最高等级的视频增强以外的视频增强,则接收到的为低功耗增强的增强指令。
例如图3所示,设置高等级的视频增强开关以及低等级的视频增强开关,分别对应高等级的视频增强以及低等级的视频增强,高等级的视频增强的功耗高于低等级的视频增强的功耗。在图3所示的视频增强开关中,若接收到对低等级的增强开关的触发确认,如图4所示,则接收到低功耗增强的增强指令。又如图5所示,设置可以进行高等级以及低等级互相切换的视频增强开关,若用户将视频增强开关切换到如图5所示低等级增强,则接收到低功耗增强的增强指令。其中,在视频播放过程中,设置的视频增强开关可以处于隐藏状态。当接收到对视频的点击等触控,显示该视频增强开关,并且使该视频增强开关处于可控制状态。当视频超过一段时间未接收到用户的触控操作,再次将该视频增强开关隐藏。
作为一种实施方式,若视频增强处理时选用高功耗的增强,而此时电子设备电量过低,则可能加快电子设备低电量关机。因此,该低功耗增强的增强指令可以是在视频进行增强处理时电子设备的电量过低的情况下生成,以增加电子设备的续航时间。具体的,可以在对视频进行增强处理的情况下,判断电子设备的电量是否小于目标电量。其中,该增强处理为非低功耗的增强处理,即该增强处理为高功耗的增强处理。若判定电子设备的电量小于目标电量,则判定接收到对视频进行低功耗增强的增强指令。其中,该目标电量的具体电量值在本申请实施例中并不限定,可以是电子设备总电量的百分之三十、百分之二十等。另外,该目标电量也可以由用户设置后存储于电子设备。
步骤S120:对所述视频的至少部分视频帧选取功耗低于第一增强处理方式的第二增强处理方式,其中,所述第一增强处理方式为对视频进行非低功耗增强时对应的增强处理方式。
在接收到低功耗增强的增强指令的情况下,对视频的至少部分视频帧选取功耗低的增强处理方式。具体的,对视频进行非低功耗增强时对应的增强处理方式为第一增强处理方式,则对至少部分视频帧选取第二增强处理方式,该第二增强处理方式的功耗低于第一增强处理方式。
其中,至少视频帧可以是所有的视频帧,也就是说,可以对视频帧的所有视频帧选取功耗低于第一增强处理方式的第二增强处理方式。另外,该至少部分视频帧也可以是视频的一部分视频帧。
另外,该至少部分视频帧可以为该视频还未进行播放的视频帧中的至少部分视频帧。
步骤S130:对视频的视频帧通过对应的增强处理方式进行显示增强处理。所述显示增强处理通过调节视频帧的图像参数提高视频帧的画质。
对视频帧进行增强处理时通过相应的增强处理方式。也就是说,选取第二增强处理方式的视频帧,通过第二增强处理方式进行增强处理,以通过第二增强处理方式包括的图像处理算法调整视频帧的图像参数,从而调整视频帧画质的相关参数,提高视频画质。
本申请实施例中,在接收到低功耗增强的增强指令的情况下,对视频的至少部分视频帧通过功耗低于第一增强处理方式的第二增强处理方式进行增强处理,该第一增强处理方式为对视频进行非低功耗增强时对应的增强处理方式,从而使对视频的增强的功耗相对于非低功耗增强时降低。
本申请还提供了一种实施例,相对于前述实施例,该实施例具体描述了对至少部分视频帧选取增强处理方式的部分实施方式。具体的,请参见图6,该方法包括:
步骤S210:接收对视频进行低功耗增强的增强指令。
步骤S210的具体实施可以参见步骤S110,在此不再赘述。
步骤S220:对所述视频的部分视频帧选取第一增强处理方式,其余部分视频帧选取第二增强处理方式。
发明人经过研究发现,视频为多个视频帧,并且连续的视频帧之间时间间隔极短,播放速度很快。在视频增强时,若部分视频帧采用功耗较高但是增强效果较好的增强处理方式,另外部分视频帧采用功耗较低但是增强效果略差一些的增强处理方式,由于视频帧的切换速度很快,用户对增强方式略差的感知不明显。因此,可以对视频的部分视频帧选取第一增强处理方式,以获得更好的处理效果,对其余部分视频帧选取第二增强处理方式,以降低增强处理的功耗。
作为一种实施方式,可以每间隔预设帧数的视频帧选取所述第二增强处理方式,其余视频帧选取所述第一增强处理方式。如,每间隔一帧视频帧的视频帧选取第二增强处理方式;又如,每间隔两帧视频帧的视频帧选取第二增强处理方式等等。被间隔的视频帧采取第一增强处理方式。
预设帧数的具体值在本申请实施例中并不限定。可选的,可以根据视频增强的等级进行确定,视频增强的等级越高,预设帧数可以越大。例如,视频增强的等级包括高等级,中等级以及低等级,高等级为非低功耗增强的增强处理。则中等级的视频增强对应的预设帧数大于低等级的视频增强对应的预设帧数,如中等级每隔三帧视频帧的视频帧选取第二增强处理方式,被间隔的视频帧采取第一增强处理方式;低等级的每隔一帧视频帧的视频帧选取第二增强处理方式,被间隔的视频帧采取第一增强处理方式。
可选的,在本申请实例中,第二增强处理方式可以为一种处理方式,第一增强处理方式可以为一种处理方式。在该实施方式中,可以是,从接收到低功耗增强的增强指令时还未播放也还未进行增强处理的第一帧视频帧开始,后续的视频帧增强处理方式的选取依次是,一帧视频帧选取第二增强处理方式,接下来的预设帧数的视频帧选取第一增强处理方式,再接下来的一帧视频帧选取第二增强处理方式,再接下来的预设帧数的视频帧选取第一增强处理方式,以此类推。
为了清楚每间隔预设帧数的视频帧选取所述第二增强处理方式,其余视频帧选取所述第一增强处理方式的具体选取方式,本实施方式以预设帧数为一进行说明。当预设帧数为一时,视频的视频帧选取增强处理方式为,第一增强处理方式与第二增强处理方式间隔排列地对应到依次排列的视频帧,也就是说,视频的依次排列的视频帧选取的增强处理方式为,一帧选取第一增强处理方式,下一帧选取第二增强处理方式,再下一帧选取第一增强处理方式,接下来一帧选取第二增强处理方式,以此类推。如视频的视频帧依次编号为1,2,3,4直至n,n为正整数。则可以是奇数编号的视频帧选取第一增强处理方式,偶数编号的视频帧选取第二处理方式;或者偶数编号的视频帧选取第一增强处理方式,奇数编号的视频帧选取第二处理方式。
本申请实施例还提供了一种实施方式。在该实施方式中,第二增强处理方式还可以包括多种处理方式,每种处理方式可以定义为一种子增强处理方式,不同子增强处理方式用于对不同的视频帧进行增强处理。具体的,在选取增强处理方式时,对于视频依次排列的各个视频帧,可以交叉选取第一增强处理方式以及第二增强处理方式的各子增强处理方式。
例如,第二增强处理方式的子增强处理方式为k种,将视频帧分为n帧为一组,也就是说,第1帧视频帧至第n帧为一组,第n+1至第2n为一组,第2n+1至第3n为一组,以此类推,n大于等于k+1。则对于每一组视频帧,各帧视频帧可以从第一增强处理方式以及第二增强处理方式的k种子增强处理方式中选取相应的增强处理方式,且第一增强处理方式以及第二增强处理方式的k种子增强处理方式全部被选取。各组视频帧的选取规律可以一致,也可以不一致。以第二增强处理方式的子增强处理方式为2种,4帧视频帧分为一组为例,则一组视频帧中的第一以及第二帧可以选取第一增强处理方式,第三以及第四帧视频帧可以分别选取两种子增强处理方式。
又如,第二增强处理方式的子增强处理方式为k种,选取增强处理方式可以是,第一帧视频帧选取第一增强处理方式,第2至第k+1帧分别选取第二增强处理方式的各个子增强处理方式;第k+2帧视频帧选取第一增强处理方式,第k+3至第k+3+k-1帧分别选取第二增强处理方式的各个子增强处理方式,以此类推。
本申请还提供了一种实施方式,在该实施方式中,第二增强处理方式也可以包括对视频帧不进行增强处理的处理方式。
在该实施方式中,若第二增强处理方式为一种处理方式,第一增强处理方式为一种处理方式,则对视频帧的处理方式包括第一增强处理方式对应的非低功耗增强以及不增强。例如,每间隔预设帧数的视频帧选取所述第二增强处理方式,若预设帧数为1,则是每间隔一帧视频帧不进行增强处理,被间隔的视频帧通过第一增强处理方式进行增强处理,也就是说,视频帧的增强处理间隔进行,一帧视频帧增强,一帧视频帧不增强,依次进行。若预设帧数不为1,则依次排列的视频帧中,一帧视频帧不进行增强,相邻的预设帧数视频帧进行增强处理,再下一帧视频帧不进行增强,接下来相邻的预设帧数的进行增强处理,依次类推。
在该实施方式中,若第二增强处理方式包括多种子增强处理方式,则多种子增强处理方式中的一种子增强处理方式可以是不进行增强。
在本申请实施例中,第一处理增强处理方式以及第二增强处理方式具体包括的图像处理算法并不限定。具体的,第一增强处理方式的算法复杂度比第二增强处理方式的算法复杂度高,对应的,第一增强处理方式的处理效果比第二增强吹了方式的处理效果更好,第一增强处理方式的功耗也比第二增强处理方式高。
可选的,可以是,第一增强处理方式包括更多的图像处理算法以更好地改善视频画质,而第二增强处理方式包括的图像处理算法比第一增强处理方式少。如,第一增强处理方式的增强处理包括去噪算法、饱和度增强以及对比度增强算法中的三种或两种,而第二增强处理方式的增强处理值包括去噪算法、饱和度增强以及对比度增强算法中的一种,如去噪算法。或者是第一增强处理方式的增强处理包括去噪算法、饱和度增强以及对比度增强算法中的三种,而第二增强处理方式的增强处理值包括去噪算法、饱和度增强以及对比度增强算法中的两种。
其中,每种算法具体对应的图像处理算法在本申请实施例中并不限定。例如去噪算法可以是对图像边缘等细节信息保存完好的图像处理算法,如,基于局部空间连续性原则的引导滤波算法,同时考虑了像素空间差异与强度差异的滤波器双边滤波,充分利用了整个图像的自相似性和冗余信息的NLM(Non-Local Means,非局部均值)图像去噪算法。例如对比度增强的算法可以是自适应对比度增强算法(ACE,Adaptive ContrastEnhancement),直方图均衡化(Histogram Equalization)以及直方图匹配(HistogramMatching)等。例如饱和度增强的算法可以是增加视频帧中的色彩成分,如,视频帧通过RGB表示时,分别调高RGB各个颜色通道;或者在RGB色彩空间调整亮度与饱和度不是很直观,而HSL色彩模式可以很直观表示出每个像素的饱和度,可以将图像的像素RGB值然后再转换到HSL色彩模式得到饱和度S(Saturation),通过调整S的值调高饱和度。再将调整后的视频帧从HSL色彩模式转换到RGB色彩模式用于显示。
可选的,也可以是,第一增强处理方式中算法的迭代次数大于所述第一增强处理方式中增强处理算法的迭代次数。对应的第一增强处理方式对视频帧画质的处理效果好于第二增强处理方式,例如清晰度更高,饱和度更高,对比度更强等,相应的第一增强处理方式的功耗也更高。
可选的,对于同样目的的图像处理,第一增强处理方式中采用复杂度更高的算法。
例如,对于去噪的图像处理算法,第二增强处理方式中可以采用基于局部空间连续性原则的引导滤波算法,NLM(Non-Local Means,非局部均值)图像去噪算法等常规的去噪算,但是,常规的去噪算法还是可能会使图像损失部分细节。
第一增强处理方式可以是更复杂但是更去噪效果更好的去噪算法,例如,只对视频帧中边缘细节特征以外的部分通过去噪算法进行去噪,而不对视频帧中的边缘特征进行处理,以保留图像良好的边缘细节特征。
具体的,第一增强处理方式中去噪的图像处理算法可以是,先通过边缘检测算法获取视频帧中的边缘部分。其中,具体的边缘检测算法在本申请实施例中并不限定,例如可以是差分边缘检测、Reborts算子、Sobel算子、Prewitt算子、罗伯茨交叉边缘检测(RobertsCross operator)、Kirsch算子以及Laplace算子等中的任意一种。
再从视频帧中将检测获得的边缘提取出来,即将视频帧分为边缘部分以及边缘以外的部分。具体的,可以根据边缘检测的结果,通过裁剪算法,将所述视频帧裁剪为第一部分以及第二部分,所述第一部分为所述边缘部分,所述第二部分为所述边缘部分以外的部分。具体的裁剪算法在本申请实施例中并不限定,凡是可以将边缘检测到的边缘从视频帧中裁剪出来,使视频帧被裁剪为第一部分以及第二部分的裁剪算法都可以,如Cohen-Sutherland裁剪算法。或者直接根据边缘检测结果,将边缘检测中表示为边缘的像素点从视频帧中提取出来,使视频帧分为第一部分以及第二部分。
再通过去噪算法对第二部分进行去噪处理。具体的去噪算法在本申请实施例中并不限定,可以是任意满足对视频帧进行去噪处理的图像处理算法,如上述的引导滤波算法、双边滤波算法以及NLM算法等,也可以是其他去噪算法,如邻域平均法、中值滤波、低通滤波等空间域滤波去噪算法、傅立叶变换、沃尔什-哈达玛变换、余弦变换、K-L变换以及小波变换等变换域滤波去噪算法等等。
再将所述第一部分以及去噪后的第二部分组合成图像,作为所述视频帧增强处理后的视频帧。具体的,将第一部分以及第二部分组合成一帧图像,使第一部分在组合后的图像中,对应的位置为被裁剪视频帧中第一部分所在位置;第二部分在组合后的图像中,对应的位置为被裁剪视频帧中第二部分所在位置。也就是说,组合后的图像中,第一部分为该图像中的边缘特征,第二部分为边缘特征以外的部分。将组合后的图像作为视频增强后的视频帧。
在该第一增强处理方式中,去噪处理算法的复杂度相对常规的去噪处理算法复杂度更高,功耗更大,但是将视频帧中的边缘细节部分裁剪后,对非边缘细节的部分进行去噪,从而避免了去噪算法将图像的边缘细节信息也去除,去噪效果更好。在去噪后,再将边缘细节部分与被去噪后的非边缘细节的部分组合成视频帧,形成增强后的视频帧,使视频增强后的视频帧中边缘噪声不会放大,且去除了视频帧中的噪声。
又如,对于对视频帧进行锐化的图像处理算法,第二增强处理方式中可以采用常规的锐化处理方式,如梯度锐化、拉普拉斯算子等。由于对视频帧进行锐化可以提升视频帧的清晰度,但是锐化使噪声受到增强,放大边缘噪声,使边缘处非视频本身的信息更多,边缘细节更模糊。
因此,第一增强处理方式可以通过锐化效果更好且更少拉起噪声的处理算法对视频帧进行处理。具体的,第一增强处理方式中锐化的算法可以是:先通过边缘检测算法获取视频帧中的边缘部分。再将所述视频帧裁剪为第一部分以及第二部分,所述第一部分为所述边缘部分,所述第二部分为所述边缘部分以外的部分。通过图像锐化算法对所述第二部分进行锐化处理,具体的锐化处理算法在本申请实施例中并不限定,例如,可以是,梯度锐化、拉普拉斯算子等。将第一部分以及锐化后的第二部分组合成图像,作为所述视频帧增强后的视频帧。
第一增强处理方式采用比第二增强处理方式更少拉起噪声的处理算法进行锐化处理,但是,对应的,第一增强处理方式处理过程中的功耗比第二增强处理方式更高。
具体第一增强处理方式中采用的算法复杂度更高的图像处理算法对视频帧进行增强在本申请实施例中并不一一列举。第一增强处理方式通过复杂度更高的算法获得更好的视频处理效果,但是相对于第二增强处理算法具有更高的功耗。
步骤S230:对视频的视频帧通过对应的增强处理方式进行显示增强处理。
对视频的各视频帧通过选取的对应的增强处理方式进行增强处理。具体的,具体选择的增强处理方式为第一增强处理方式的视频帧,以第一增强处理方式进行增强处理。对于选取第二增强处理方式的视频帧,以第二增强处理方式进行增强处理。可以理解的,若第二增强处理方式包括多种子增强处理方式,则选取到相应子增强处理方式的视频帧,以选取的子增强处理方式进行处理。若第二增强处理方式包括对视频帧不进行增强处理的处理方式,则选取到不进行增强的处理方式的视频帧,不进行增强处理。
在本申请实施例中,视频帧的增强处理方式的选取可以与对视频帧进行显示增强处理同步进行。也就是说,视频帧的增强处理可以是一边选取增强处理方式一边进行增强处理。例如,为一帧视频帧选取对应的增强处理方式后,则可以开始对该视频帧通过选取的增强处理方式进行增强处理。
在本申请实施例中,若第二增强处理方式包括对视频帧不进行增强处理的处理方式,为了加快对视频帧的处理速度,可以将要视频画质增强的帧放在GPU里面进行离屏渲染处理,不增强的视频帧在CPU端通过在屏渲染处理,从而保证视频画质增强的同时,功耗得到降低。在渲染完成后,将视频帧通过显示屏进行显示。
本申请实施例中,对部分视频帧选取第一增强处理方式,其余部分视频帧选取第二增强处理方式。第一增强处理方式为非低功耗增强下的增强处理方式,可以是电子设备可以达到的增强效果最好的增强处理方式。第二增强处理方式的功耗低于第一增强处理方式,从而使视频的增强处理功耗更低,同时由于部分视频帧仍然通过第一增强处理方式处理,视频的总体增强效果仍然较好。在该实施例中,保持视频良好增强效果的同时降低了视频增强处理时的功耗。
可以理解的,在本申请实施例中,若对视频帧的所有视频帧选取功耗低于第一增强处理方式的第二增强处理方式,第二增强处理方式的选取可以参照上述实施例中第二处理方式的选取。其中,若低功耗增强的增强指令并非对视频帧不进行增强,则当对视频帧的所有视频帧选取功耗低于第一增强处理方式的第二增强处理方式时,该第二增强处理方式中可以不包括不进行增强处理的处理方式。
本申请实施例还提供了一种视频增强处理装置300,应用于电子设备。具体的,请参见图7,该装置包括指令接收模块310,用于接收对视频进行低功耗增强的增强指令。选取模块320,用于对所述视频的至少部分视频帧选取功耗低于第一增强处理方式的第二增强处理方式,其中,所述第一增强处理方式为对视频进行非低功耗增强时对应的增强处理方式。处理模块330,用于对视频的视频帧通过对应的增强处理方式进行显示增强处理,所述显示增强处理通过调节视频帧的图像参数提高视频帧的画质。
可选的,指令接收模块310可以用于在对视频进行增强处理的情况下,判断电子设备的电量是否小于目标电量。若电子设备的电量小于目标电量,判定接收到对视频进行低功耗增强的增强指令。
可选的,选取模块320可以用于对所述视频的部分视频帧选取第一增强处理方式,其余部分视频帧选取第二增强处理方式。
可选的,选取模块320可以用于每间隔预设帧数的视频帧选取所述第二增强处理方式,其余视频帧选取所述第一增强处理方式。
可选的,所述第二增强处理方式可以包括一种或多种子增强处理方式,不同子增强处理方式用于对不同的视频帧进行增强处理。
可选的,所述第二增强处理方式包括对视频帧不进行增强处理的处理方式。
可选的,选取模块320可以用于对所述视频帧的所有视频帧选取功耗低于第一增强处理方式的第二增强处理方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述的各个方法实施例之间可以相互参照;上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图8,其示出了本申请实施例提供的一种电子设备400的结构框图。该电子设备400可以是智能手机、平板电脑、音乐播放设备、计算机等能够进行视频处理的电子设备。该电子设备一个或多个处理器410(图中仅示出一个),存储器420以及一个或多个程序。其中,所述一个或多个程序被存储在所述存储器420中,并被配置为由所述一个或多个处理器410执行。所述一个或多个程序配置用于执行前述实施例所描述的方法。
处理器410可以包括一个或者多个处理核。处理器410利用各种接口和线路连接整个电子设备400内的各个部分,通过运行或执行存储在存储器420内的指令、程序、代码集或指令集,以及调用存储在存储器420内的数据,执行电子设备400的各种功能和处理数据。可选地,处理器410可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器410可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器410中,单独通过一块通信芯片进行实现。
存储器420可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器420可用于存储指令、程序、代码、代码集或指令集。存储器420可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
另外,该电子设备400还可以包括显示屏,用于对视频进行显示。
请参考图9,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质500中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。