Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020140726 - PHOTOGRAPHING METHOD AND ELECTRONIC DEVICE

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20  

附图

1   2   3   4   5   6A   6B   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21  

说明书

发明名称 : 一种拍摄方法及电子设备

[0001]
本申请要求在2019年1月3日提交中国国家知识产权局、申请号为201910005608.6、发明名称为“一种拍摄方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请涉及图像处理技术领域,尤其涉及一种拍摄方法及电子设备。

背景技术

[0003]
电子设备(例如,手机、平板电脑等)一般集成有拍摄组件(例如摄像头等),可用于实现拍照和录影等功能。用户打开摄像头后,电子设备可将摄像头捕捉到的拍摄画面实时显示在取景窗口中,并且,用户可以手动在拍摄画面中选择焦点,使得手机可以根据用户选择的焦点进行对焦。
[0004]
目前,一些手机在拍摄时提供了自动跟踪焦点的功能。例如,如果用户在拍摄画面中选择某一拍摄目标为焦点,则手机可提取拍摄目标的图像特征,并根据该图像特征持续的在拍摄画面中追踪拍摄目标。这样,当拍摄目标处于移动状态时,手机可追踪到拍摄画面中的拍摄目标。但是,当拍摄目标移动至摄像头的拍摄范围之外时,拍摄目标也会离开手机的拍摄画面。此时,手机将重新在当前的拍摄画面中确定新的拍摄目标进行对焦,导致原本追踪的拍摄目标丢失,使得用户在拍摄运动的物体时需要频繁的进行对焦,影响拍摄体验。
[0005]
发明内容
[0006]
本申请提供一种拍摄方法及电子设备,可在拍摄目标重新回到拍摄画面后继续追踪到拍摄目标,提高拍摄运动物体时对焦的准确度和用户的拍摄体验。
[0007]
为达到上述目的,本申请采用如下技术方案:
[0008]
第一方面,本申请提供一种拍摄方法,包括:电子设备获取第一拍摄画面,例如,使用摄像头采集第一拍摄画面,第一拍摄画面中包括第一拍摄对象;电子设备在显示第一拍摄画面时,可将第一拍摄对象确定为需要追踪的追踪目标进行追踪;进而,电子设备可获取第二拍摄画面,如果第二拍摄画面中不包括第一拍摄对象,说明第一拍摄对象已经离开当前的拍摄画面,电子设备可继续显示第二拍摄画面;后续,电子设备获取到第三拍摄画面后,如果第三拍摄画面中包括第一拍摄对象,说明第一拍摄对象重新回到当前的拍摄画面中,那么,电子设备显示第三拍摄画面时,可重新将第一拍摄对象确定为追踪目标继续追踪。
[0009]
也就是说,当某一拍摄对象被电子设备确定为追踪目标后,电子设备对确定出的追踪目标有记忆功能。即使该拍摄对象在一段时间内离开了电子设备的拍摄画面,当该拍摄对象再次出现在拍摄画面中时,电子设备也可重新在当前的拍摄画面中将该拍摄对象识别为追踪目标,实现对某一拍摄对象的连续不间断追踪,从而提高拍摄运动物体时对焦的准确度和用户的拍摄体验。
[0010]
在一种可能的设计方法中,在电子设备获取到上述第一拍摄画面之前,还包括:电子设备检测到用户打开摄像头或开始录像的操作;响应于该操作,电子设备根据摄像头捕捉到的N(N>1)个拍摄画面创建特征模型,该特征模型中包括M(M>1)个拍摄目标,其中,每个拍摄目标至少在该N个拍摄画面中的一个拍摄画面中出现过。也就是说,电子设备在每次 拍摄时可以在特征模型中累积一段时间内出现的多个拍摄目标,特征模型中的拍摄目标可作为电子设备确定追踪目标的依据。
[0011]
在一种可能的设计方法中,电子设备将第一拍摄对象确定为追踪目标进行追踪,包括:若第一拍摄对象与第一拍摄目标匹配,则电子设备确定第一拍摄对象为该追踪目标,第一拍摄目标为上述M个拍摄目标中的一个。这样,在每次确定当前拍摄画面中需要追踪的追踪目标时,如果当前拍摄画面中的某一拍摄对象与已存储的某一拍摄目标匹配,则电子设备可将该拍摄对象作为追踪目标进行追踪和对焦,从而提高电子设备拍摄时追踪目标的准确性。
[0012]
在一种可能的设计方法中,在电子设备确定第一拍摄对象为该追踪目标之后,还包括:电子设备根据第一拍摄对象的图像特征,更新该特征模型中第一拍摄目标的图像特征,从而使得特征模型中的各个拍摄目标可以随着拍摄内容的变化实时更新,使得特征模型中的各个拍摄目标能够尽可能准确的反映出用户在当前拍摄过程中所关注的多个人或物。
[0013]
在一种可能的设计方法中,上述第二拍摄画面中可包括第二拍摄对象;在电子设备显示第二拍摄画面时,还包括:若第二拍摄对象与第二拍摄目标匹配,则电子设备将第二拍摄对象确定为追踪目标进行追踪,第二拍摄目标为该M个拍摄目标中除第一拍摄目标外的一个。也就是说,在一次拍摄过程中电子设备可在多个追踪目标之间切换。
[0014]
在一种可能的设计方法中,在电子设备获取到第二拍摄画面之后,还包括:若第二拍摄对象与该M个拍摄目标均不匹配,则电子设备在该特征模型中将第二拍摄对象添加为新的拍摄目标,并删除该特征模型中创建时间最早的拍摄目标。这样,更新后的特征模型中可持续记录本次拍摄过程中最近一段时间内用户较为关注的多个拍摄目标。
[0015]
在一种可能的设计方法中,上述第三拍摄画面中还可以包括第二拍摄对象;其中,电子设备重新将第一拍摄对象确定为追踪目标继续追踪,包括:电子设备确定第一拍摄对象与该M个拍摄目标中第一拍摄目标之间的第一匹配度最高;电子设备确定第二拍摄对象与该M个拍摄目标中第二拍摄目标之间的第二匹配度最高;若第一匹配度大于第二匹配度,且第一匹配度大于匹配度阈值,则电子设备重新将第一拍摄对象确定为追踪目标继续追踪。
[0016]
在一种可能的设计方法中,在电子设备将第一拍摄对象确定为追踪目标进行追踪之后,还包括:若没有在当前的拍摄画面中追踪到第一拍摄对象,则电子设备记录第一拍摄对象的离开时刻;其中,在电子设备获取第二拍摄画面之后,还包括:若当前时刻距离该离开时刻的时间小于预设值,说明用户实际希望追踪的焦点很可能还是第一拍摄对象,因此电子设备可停止识别第二拍摄画面中的追踪对象;若当前时刻距离该离开时刻的时间大于或等于该预设值,说明第一拍摄对象离开拍摄画面的时间较长,则电子设备可重新识别第二拍摄画面中的追踪对象。
[0017]
在一种可能的设计方法中,在电子设备显示第一拍摄画面时,还包括:电子设备对第一拍摄画面中第一拍摄对象上的特征点进行标记;在电子设备显示第三拍摄画面时,还包括:电子设备对第三拍摄画面中第一拍摄对象上的特征点进行标记。这些特征点实现了对追踪目标细节的刻画,用户通过这些特征点可以更加直观和清楚的观察到追踪目标的运动情况,便于用户对追踪目标进行对焦和抓拍,提高了用户的拍摄体验。
[0018]
第二方面,本申请提供一种电子设备,包括:触摸屏、一个或多个摄像头、一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与摄像头、触摸屏以及存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述任一项所述的拍 摄方法。
[0019]
第三方面,本申请提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面中任一项所述的拍摄方法。
[0020]
第四方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面中任一项所述的拍摄方法。
[0021]
可以理解地,上述提供的第二方面所述的电子设备、第三方面所述的计算机存储介质,以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。

附图说明

[0022]
图1为本申请实施例提供的一种电子设备的结构示意图一;
[0023]
图2为本申请实施例提供的一种拍摄方法的应用场景示意图一;
[0024]
图3为本申请实施例提供的一种拍摄方法的流程示意图;
[0025]
图4为本申请实施例提供的一种拍摄方法的应用场景示意图二;
[0026]
图5为本申请实施例提供的一种拍摄方法的应用场景示意图三;
[0027]
图6A为本申请实施例提供的一种拍摄方法的应用场景示意图四;
[0028]
图6B为本申请实施例提供的一种拍摄方法的应用场景示意图五;
[0029]
图7为本申请实施例提供的一种拍摄方法的应用场景示意图六;
[0030]
图8为本申请实施例提供的一种拍摄方法的应用场景示意图七;
[0031]
图9为本申请实施例提供的一种拍摄方法的应用场景示意图八;
[0032]
图10为本申请实施例提供的一种拍摄方法的应用场景示意图九;
[0033]
图11为本申请实施例提供的一种拍摄方法的应用场景示意图十;
[0034]
图12为本申请实施例提供的一种拍摄方法的应用场景示意图十一;
[0035]
图13为本申请实施例提供的一种拍摄方法的应用场景示意图十二;
[0036]
图14为本申请实施例提供的一种拍摄方法的应用场景示意图十三;
[0037]
图15为本申请实施例提供的一种拍摄方法的应用场景示意图十四;
[0038]
图16为本申请实施例提供的一种拍摄方法的应用场景示意图十五;
[0039]
图17为本申请实施例提供的一种拍摄方法的应用场景示意图十六;
[0040]
图18为本申请实施例提供的一种拍摄方法的应用场景示意图十七;
[0041]
图19为本申请实施例提供的一种拍摄方法的应用场景示意图十八;
[0042]
图20为本申请实施例提供的一种拍摄方法的应用场景示意图十九;
[0043]
图21为本申请实施例提供的一种电子设备的结构示意图二。

具体实施方式

[0044]
下面将结合附图对本实施例的实施方式进行详细描述。
[0045]
本申请实施例提供的一种拍摄方法,可应用于手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)、可穿戴电子设备、虚拟现实设备等,本申请实施例对此不做任何限制。
[0046]
以手机为上述电子设备举例,图1示出了手机100的结构示意图。
[0047]
手机100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线 1,天线2,射频模块150,通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
[0048]
可以理解的是,本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
[0049]
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
[0050]
其中,控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
[0051]
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
[0052]
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
[0053]
其中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为手机100充电,也可以用于手机100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
[0054]
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在本申请另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
[0055]
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过手机100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
[0056]
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管 理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
[0057]
手机100的无线通信功能可以通过天线1,天线2,射频模块150,通信模块160,调制解调处理器以及基带处理器等实现。
[0058]
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
[0059]
射频模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。射频模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。射频模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。射频模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,射频模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,射频模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
[0060]
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与射频模块150或其他功能模块设置在同一个器件中。
[0061]
通信模块160可以提供应用在手机100上的包括无线局域网(wireless local area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。通信模块160可以是集成至少一个通信处理模块的一个或多个器件。通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
[0062]
在一些实施例中,手机100的天线1和射频模块150耦合,天线2和通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code division multiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou navigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
[0063]
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的 微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
[0064]
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode 的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,手机100可以包括1个或N个显示屏194,N为大于1的正整数。
[0065]
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
[0066]
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
[0067]
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
[0068]
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
[0069]
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。手机100可以通过扬声器170A收听音乐,或收听免提通话。
[0070]
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
[0071]
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机100可以设置至少一个麦克风170C。在另一些实施例中,手机100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
[0072]
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
[0073]
其中,传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器或骨传导传感器等一项或多项,本申请实施例对此不做任何限制。
[0074]
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。手机100可以接收按键输入,产生与手机100的用户设置以及功能控制有关的键信号输入。
[0075]
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
[0076]
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。手机100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,手机100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在手机100中,不能和手机100分离。
[0077]
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
[0078]
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的焦点,噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
[0079]
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机100可以包括1个或N个摄像头193,N为大于1的正整数。
[0080]
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当手机100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
[0081]
视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样,手机100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
[0082]
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
[0083]
在本申请实施例中,手机100通过摄像头193可实时捕捉到每一帧的拍摄画面。并且,手机100可通过ISP识别拍摄画面中的拍摄目标,并对拍摄目标进行实时的追踪和对焦。
[0084]
示例性的,如图2中的(a)所示,手机100打开摄像头193后可通过摄像头193捕捉到第一拍摄画面201。手机100可自动识别第一拍摄画面201中的拍摄目标,或者,用户可手动在第一拍摄画面201中选择拍摄目标。以用户选择第一拍摄画面201中的小汽车202作为拍摄目标举例,检测到用户点击第一拍摄画面201中的小汽车202后,手机100可提取并记 录小汽车202的图像特征。
[0085]
通常,手机100打开摄像头193后会以一定的频率采集并更新捕捉到的拍摄画面,如图2中的(b)所示,手机100采集到第一拍摄画面201后可继续通过摄像头193捕捉下一张拍摄画面,例如第二拍摄画面203。此时,手机可根据小汽车202的图像特征识别第二拍摄画面203中是否包含小汽车202。如果第二拍摄画面203中不包含小汽车202,手机100可重新识别第二拍摄画面203中的拍摄目标。例如,手机100可将第二拍摄画面203中的人物204作为新的拍摄目标,并且,手机100可在第二拍摄画面203中提取并记录人物204的图像特征。
[0086]
后续,如图2中的(c)所示,手机100可继续通过摄像头193捕捉下一张拍摄画面,例如第三拍摄画面205。由于手机100此时已经记录了小汽车202的图像特征和人物204的图像特征,因此,手机100可根据这两个图像特征识别第三拍摄画面205中是否包含小汽车202或人物204。仍如图2中的(c)所示,手机100可根据小汽车202的图像特征在第三拍摄画面205中识别出小汽车202的具体位置,那么,手机100可重新将小汽车202确定为此时的拍摄目标进行对焦。
[0087]
当然,如果在同一拍摄画面中存在多个拍摄对象分别与已经记录的多个拍摄目标对应,例如,当前拍摄画面中的拍摄对象1与已记录的拍摄目标1匹配,当前拍摄画面中的拍摄对象2与已记录的拍摄目标2匹配,则手机可将匹配度更高的对象确定为本次拍摄画面中的拍摄目标。后续实施例中将对此详细阐述,故此处不再赘述。
[0088]
也就是说,手机在拍摄过程中可以累积多个拍摄目标的图像特征,并不断更新这些拍摄目标的图像特征。在每次确定当前拍摄画面中需要追踪的追踪目标时,如果当前拍摄画面中某一拍摄对象的图像特征与已存储的某一拍摄目标的图像特征匹配,则手机可将该拍摄对象作为追踪目标进行追踪和对焦。这样一来,即使某一拍摄目标在一段时间内离开了手机的拍摄画面,当该拍摄目标再次出现在拍摄画面中时,由于手机记录有该拍摄目标的图像特征,因此手机可重新在当前的拍摄画面中识别出该拍摄目标,实现对某一拍摄目标的连续不间断追踪,提升用户的拍摄体验。
[0089]
以下将以手机为电子设备举例,结合附图详细阐述本申请实施例提供的一种拍摄方法。如图3所示,该拍摄方法包括下述步骤S301-S306。
[0090]
S301、检测到用户打开摄像头的操作后,手机根据摄像头捕捉到的N个拍摄画面创建特征模型,该特征模型包括M个拍摄目标的图像特征,N>1,M>1。
[0091]
一般,手机中安装有相机APP,用户打开相机APP的操作(例如用户点击相机APP的图标)可以认为是用户打开摄像头的操作。或者,手机在运行其他应用时也可检测到用户打开摄像头的操作。例如,用户在使用微信APP与联系人聊天时,如果手机检测到用户点击微信APP提供的相机功能,则手机也可调用相机APP打开摄像头。
[0092]
手机检测到用户打开摄像头的操作后,响应于该操作,手机可将摄像头捕捉到的拍摄画面实时显示在取景窗口中。通常,手机会以一定的帧速率(frames per second,FPS)在取景窗口中显示每一帧拍摄画面。以帧速率为30帧/秒举例,手机可在1秒内显示30帧摄像头捕捉到的拍摄画面。
[0093]
用户在拍摄时通常都是有目的性的拍摄一些人或物,为了能够持续追踪到用户希望拍摄到的人或物,手机打开摄像头后可根据摄像头捕捉到的前几帧拍摄画面创建一个特征模型,在特征模型中保存手机确定出的用户可能希望追踪的多个拍摄目标的图像特征。例如,手机 可预先设置每次拍摄时创建的特征模型中包含M个拍摄目标的图像特征。
[0094]
示例性的,如图4所示,手机获取到摄像头捕捉到的第一帧拍摄画面401后,可将拍摄画面401显示在手机的取景窗口402中。并且,手机可使用预设的图像识别算法确定拍摄画面401中的拍摄目标。
[0095]
例如,如果手机识别出拍摄画面401中包含人物或人脸,则手机可将识别出的人物或人脸确定为拍摄目标。或者,手机识别出拍摄画面401中包含人物(或人脸)后,还可以识别该人物(或人脸)是否为手机图库中出现频率较高的人物(或人脸)。手机可定期提取图库中经常出现的人物(或人脸),用户还可以手动标记这些人物(或人脸)的名称,例如“宝宝”、“Alice”等。如图4所示,手机识别出拍摄画面401中的人物403后,可进一步确定该人物403是否为已标记的人物。如果确定该人物403为用户在图库中标记为“Alice”的人物,则手机可将拍摄画面401中的人物403确定为拍摄目标。并且,仍如图4所示,手机还可以在拍摄画面401中显示人物403的标记“Alice”,从而提示用户已经在当前的拍摄画面中识别出人物Alice,并将人物Alice作为当前的拍摄目标。
[0096]
在另一些实施例中,如果手机识别出拍摄画面401中包含能够运动的物体(例如汽车、飞机或动物等),则手机可将识别出的能够运动的物体确定为拍摄目标。或者,手机可将位于拍摄画面401中心的人或物确定为拍摄目标,本申请实施例对手机确定拍摄画面中拍摄目标的具体方法不做限制。
[0097]
可以理解的是,本申请实施例对手机识别拍摄目标时使用的具体图像识别算法不做任何限定。例如,手机可使用SSD(single shot multibox detector)或YOLO v3(you only look once版本3)等深度神经网络算法识别拍摄画面中的拍摄目标。该拍摄目标一般是用户在拍摄画面中关注的人或物。
[0098]
以手机将拍摄画面401中的人物403确定为拍摄目标举例,手机将拍摄画面401中的人物403确定为拍摄目标后,手机可进一步从拍摄画面401中提取人物403的图像特征。例如,手机可使用预设的特征提取算法提取人物403的图像特征,得到人物403的特征向量。此时,手机为本次拍摄过程创建的特征模型中添加了一个拍摄目标(即人物403)的图像特征。
[0099]
进而,如图5所示,手机可将摄像头捕捉到的第二帧拍摄画面501显示在取景窗口402中。由于第二帧拍摄画面501与第一帧拍摄画面401之间的时间间隔一般很短,因此拍摄画面501中的图像与拍摄画面401中的图像可能差异不大。同时,手机可继续按照上述方法识别拍摄画面501中的拍摄目标。例如,手机可将拍摄画面501中拍摄到的人物502确定为拍摄目标。进而,手机可按照上述方法提取人物502的图像特征。此时,虽然拍摄画面401中的人物403与拍摄画面501中的人物502为同一拍摄对象,但由于人物403与人物502的运动姿势不同,因此手机提取到的人物502的图像特征与人物403的图像特征也会有所差异。至此,手机为本次拍摄过程创建的特征模型中包含了人物403和人物502这两个拍摄目标的图像特征。
[0100]
如果手机预先设置在特征模型中需要创建5个拍摄目标的图像特征,则手机可继续按照上述方法分别获取第三帧拍摄画面、第四帧拍摄画面以及第五帧拍摄画面中拍摄目标的图像特征。示例性的,如图6A中的(a)所示,手机获取到第三帧拍摄画面601后,可将拍摄画面601中的人物602确定为拍摄目标,并提取人物602的图像特征。如图6A中的(b)所示,手机获取到第四帧拍摄画面603后,可将拍摄画面603中的汽车604确定为拍摄目标,并提取汽车604的图像特征。如图6A中的(c)所示,手机获取到第五帧拍摄画面605后,可将 拍摄画面605中的汽车606确定为拍摄目标,并提取汽车606的图像特征。
[0101]
这样,如图6B所示,手机通过第一帧拍摄画面至第五帧拍摄画面可分别提取到五个拍摄目标的图像特征,即人物403的图像特征、人物502的图像特征、人物602的图像特征、汽车604的图像特征以及汽车606的图像特征。手机可将这五个拍摄目标的图像特征作为特征模型,以识别后续拍摄画面中的追踪目标。可以理解的是,后续实施例中均以特征模型中包含5个拍摄目标的图像特征举例说明的,本领域技术人员可以根据实际应用场景或实际经验设置特征模型中拍摄目标的图像特征的数目,例如30个或40个等,本申请实施例对此不做任何限制。
[0102]
当然,手机还可以动态的更新上述特征模型中的拍摄目标以及拍摄目标的图像特征,后续实施例中将对此详细阐述,故此处不再赘述。
[0103]
S302、手机显示摄像头采集到的第N+1个拍摄画面。
[0104]
手机为本次拍摄过程创建特征模型的同时可不断的显示摄像头采集到的每一帧拍摄画面。如果手机通过前N帧的拍摄画面建立了特征模型,则当手机获取到第N+1帧拍摄画面时,手机可继续在取景窗口中显示摄像头捕捉到的第N+1帧拍摄画面。如图7所示,手机可将获取到的第六帧拍摄画面701显示在取景窗口702中。
[0105]
示例性的,手机在显示每一帧拍摄画面时,可查询此时特征模型中拍摄目标的图像特征数目是否达到预设阈值M。以预设阈值M=5举例,如果当前特征模型中拍摄目标的图像特征数目小于5个,则手机可继续执行步骤S301在特征模型中创建新的拍摄目标的图像特征。相应的,如果当前特征模型中拍摄目标的图像特征数目等于5个,则手机可继续执行下述步骤S303。
[0106]
S303、手机提取第N+1个拍摄画面中的拍摄对象。
[0107]
与手机创建上述特征模型时识别拍摄画面中的拍摄目标类似的,手机可在第N+1个拍摄画面中识别该拍摄画面内包含的拍摄对象。不同的是,当上述特征模型创建好后,手机在拍摄画面中识别出的拍摄对象可以为一个或多个。
[0108]
仍以图7所示的拍摄画面701为第N+1个拍摄画面举例,手机可使用预设的目标检测算法识别出拍摄画面701包含的拍摄对象为第一汽车703和第二汽车704。进而,手机可在拍摄画面701中提取第一汽车703的图像特征和第二汽车704的图像特征,以便于后续手机根据这两个拍摄对象的图像特征确定具体将哪一个拍摄对象确定为拍摄画面701中的追踪目标。
[0109]
S304、手机计算上述拍摄对象与上述特征模型中M个拍摄目标之间的匹配度。
[0110]
仍以上述拍摄画面701中的第一汽车703和第二汽车704为拍摄对象举例,手机可分别计算第一汽车703与特征模型中M个拍摄目标之间的匹配度,以及第二汽车704与特征模型中M个拍摄目标之间的匹配度。
[0111]
示例性的,手机提取到第一汽车703的图像特征后,可计算第一汽车703的图像特征分别与特征模型中M个拍摄目标的图像特征之间的匹配度。例如,如图8所示,第一汽车703的图像特征与人物403的图像特征之间的匹配度为10分(满分为100分),第一汽车703的图像特征与人物502的图像特征之间的匹配度为12分,第一汽车703的图像特征与人物602的图像特征之间的匹配度为8分,第一汽车703的图像特征与汽车604的图像特征之间的匹配度为89分,第一汽车703的图像特征与汽车606的图像特征之间的匹配度为92分。可以看出,拍摄画面701中第一汽车703与特征模型中汽车606的匹配度最高,得分为92分。
[0112]
同样,手机提取到第二汽车704的图像特征后,可计算第二汽车704的图像特征分别与特征模型中M个拍摄目标的图像特征之间的匹配度。例如,如图9所示,第二汽车704的图像特征与人物403的图像特征之间的匹配度为3分(满分也为100分),第二汽车704的图像特征与人物502的图像特征之间的匹配度为4分,第二汽车704的图像特征与人物602的图像特征之间的匹配度为7分,第二汽车704的图像特征与汽车604的图像特征之间的匹配度为50分,第二汽车704的图像特征与汽车606的图像特征之间的匹配度为48分。可以看出,拍摄画面701中第二汽车704与特征模型中汽车604的匹配度最高,得分为50分。
[0113]
需要说明的是,本领域技术人员可根据实际经验或实际应用场景设置匹配度的具体计算方法。例如,手机可以计算拍摄对象的图像特征与拍摄目标的图像特征之间的相似率,并将该相似率作为拍摄对象与拍摄目标之间的匹配度,本申请实施例对此不做任何限制。
[0114]
S305、若上述拍摄对象与第一拍摄目标的匹配度大于匹配度阈值,则手机将该拍摄对象确定为第N+1个拍摄画面中的追踪目标。
[0115]
具体的,可在手机内预先设置一个匹配度阈值(例如87分),由于特征模型中存储的拍摄目标均为手机确定出的用户希望拍摄的人或物,因此,当某一拍摄对象与某一拍摄目标的匹配度大于该匹配度阈值时,说明在当前拍摄画面中用户的关注点很可能是该拍摄对象。那么,手机可将该拍摄对象确定为当前拍摄画面中的追踪目标进行追踪。
[0116]
示例性的,通过步骤S304手机可以确定拍摄画面701中第一汽车703与汽车606的匹配度最高,得分为92分,并且,拍摄画面701中第二汽车704与汽车604的匹配度最高,得分为50分。如果匹配度阈值为87分,则拍摄画面701中第一汽车703与特征模型中汽车606的匹配度大于该匹配度阈值,则手机可将第一汽车703确定为拍摄画面701中的追踪目标。
[0117]
在一些实施例中,如果有多个拍摄对象与拍摄目标的匹配度均大于匹配度阈值,例如,第一汽车703与拍摄目标1的匹配度为92分,且第二汽车704与拍摄目标2的匹配度为90分。那么,手机可将与拍摄目标匹配度最高的拍摄对象(即第一汽车703)确定为拍摄画面701中的追踪目标。
[0118]
又或者,如果每个拍摄对象与拍摄目标的匹配度均不大于上述匹配度阈值,例如,第一汽车703与拍摄目标1的匹配度为50分,第二汽车704与拍摄目标2的匹配度为60分,说明拍摄画面701中没有与拍摄目标匹配的拍摄对象,此时摄画面701中的拍摄对象可能是本次拍摄过程中新出现的,因此手机可放弃在拍摄画面701中确定追踪目标。
[0119]
可以看出,由于手机创建的特征模型中包含过去一段时间内多个拍摄目标的图像特征,因此,手机在确定当前拍摄画面中的追踪目标时可与这多个拍摄目标分别匹配。即使当前拍摄画面中的拍摄对象没有出现在最近一帧或多帧拍摄画面中,但如果该拍摄对象与特征模型中某一拍摄目标的匹配度足够高,手机也可将该拍摄对象确定为当前拍摄画面中的追踪目标,从而提高手机拍摄时追踪目标的准确性。
[0120]
S306、手机使用追踪算法在后续拍摄画面中追踪该追踪目标。
[0121]
手机确定出第N+1个拍摄画面中的追踪目标后,可使用预设的追踪算法在后续的第N+2个拍摄画面、第N+3个拍摄画面、…、第N+X个拍摄画面中追踪该追踪目标。当然,在追踪该追踪目标的同时手机还可以对追踪目标进行对焦,使追踪目标在拍摄画面中被拍摄的更加清晰。
[0122]
为防止手机丢失该追踪目标或追踪错追踪目标,手机可设置一个追踪周期(例如X帧)。在追踪周期内,例如,在第N+1帧拍摄画面至第N+X帧拍摄画面内,手机可使用追踪算法 追踪在第N+1帧拍摄画面中确定的追踪目标(例如上述第一汽车703)。当手机获取到第N+X+1帧拍摄画面时,手机可重新执行上述步骤S303-S305确定在下一追踪周期内的追踪目标,并使用追踪算法在下一追踪周期内追踪该追踪目标。
[0123]
其中,上述追踪算法可以为质心跟踪算法(centroid)、相关跟踪算法(correlation)或边缘跟踪算法(edge)等,本申请实施例对此不做任何限制。
[0124]
S307、手机更新上述特征模型中M个拍摄目标的图像特征。
[0125]
在手机确定追踪目标时(即上述步骤S305),手机还可以根据当前拍摄画面中每个拍摄对象与特征模型中每个拍摄目标之间的匹配度更新该特征模型,使得特征模型中的各个拍摄目标可以随着拍摄内容的变化实时更新,使得特征模型中的各个拍摄目标能够尽可能准确的反映出用户在当前拍摄过程中所关注的多个人或物。
[0126]
仍以上述拍摄画面701举例,手机通过计算第一汽车703与特征模型中的各个拍摄目标之间的匹配度,可以确定第一汽车703与汽车606的匹配度最高,且得分大于预设的匹配度阈值。那么,如图10所示,手机可将第一汽车703的图像特征与汽车606的图像特征进行融合,得到汽车606’的图像特征。此时,特征模型中的汽车606被更新为汽车606’,汽车606’能够反映出该汽车作为拍摄目标时的最新特征。
[0127]
其中,手机在融合第一汽车703与汽车606的图像特征时,可使用线性加权融合算法、交叉融合算法或瀑布融合算法等融合算法,本申请实施例对此不做任何限制。
[0128]
又例如,手机通过计算拍摄画面701中第二汽车704与特征模型中的各个拍摄目标之间的匹配度,可以确定第二汽车704与汽车604的匹配度最高,但得分小于预设的匹配度阈值。即特征模型中与第二汽车704最匹配的拍摄目标(汽车604)的匹配度仅为50分,说明第二汽车704很可能是本次拍摄过程中新出现的拍摄目标。那么,如图11所示,手机可将拍摄画面701中第二汽车704的图像特征添加至特征模型中,并删除特征模型中最早添加的拍摄目标(即人物403)的图像特征。这样,更新后的特征模型中可持续记录本次拍摄过程中最近一段时间内用户较为关注的多个拍摄目标的图像特征。
[0129]
在另一些实施例中,用户还可以手动选择拍摄画面中的追踪目标。如图12所示,手机在显示拍摄画面701时,用户可手动在拍摄画面701中点击需要追踪的追踪目标。示例性的,如果检测到用户点击拍摄画面701中的第二汽车704,则手机可提取第二汽车704的图像特征(例如图像特征A),并将第二汽车704确定为追踪目标。同时,手机还可以清空特征模型中已经保存的五个拍摄目标的图像特征,并将第二汽车704的图像特征A添加至特征模型中。
[0130]
后续,如图13所示,手机获取到下一拍摄画面1301后,由于此时特征模型中拍摄目标的图像特征只有一个第二汽车704的图像特征A,因此,手机可根据第二汽车704的图像特征A识别拍摄画面1301中是否包含第二汽车704。如果包含第二汽车704,则手机可提取拍摄画面1301中第二汽车704的图像特征(例如图像特征B),并将第二汽车704的图像特征B添加至特征模型中。那么,通过重复上述方法手机可在特征模型中创建第二汽车704在五个不同拍摄画面中的图像特征。进而,手机可继续按照上述步骤S302-S306的方法基于特征模型中的图像特征追踪后续拍摄画面中的第二汽车704。
[0131]
其中,上述步骤S301-S307中所述的手机具体可以为图1所示的手机100。在上述步骤S301-S307中,手机的相关动作可以由图1中的处理器110根据存储器(例如内部存储器121或外部存储器120)中存储的指令来执行。
[0132]
在本申请实施例中,手机在特征模型中为本次拍摄过程创建了多个拍摄目标的图像特征 后,手机按照上述方法每次在拍摄画面中确定出的追踪目标一般都是上述多个拍摄目标中的一个。当追踪目标离开拍摄画面后,由于特征模型中包括最近一段时间内拍摄画面中出现的多个拍摄目标。因此,当该追踪目标再次回到拍摄画面后,如果此时特征模型中还记录有该追踪目标的图像特征,则手机可重新在当前的拍摄画面中识别出该追踪目标,从而实现对某一拍摄目标的连续不间断追踪。
[0133]
示例性的,如图14所示,手机打开摄像头后可按照步骤S301所述的方法建立本次拍摄过程的特征模型。参见图4-图6所示的相关内容,该特征模型中按照时间顺序分别包括人物403的图像特征、人物502的图像特征、人物602的图像特征、汽车604的图像特征以及汽车606的图像特征。
[0134]
进而,仍如图14所示,手机获取到摄像头采集到的第一拍摄画面1401后,可将第一拍摄画面1401显示在取景窗口1402中。此时,手机通过上述步骤S303-S305可确定出第一拍摄画面1401中的汽车1403与特征模型中汽车604的匹配度最高且该匹配度大于匹配度阈值。那么,手机可将第一拍摄画面1401中的汽车1403确定为追踪目标,并在后续拍摄画面中追踪汽车1403。
[0135]
后续,如图15所示,手机采集到第二拍摄画面1501时,此时的特征模型可能已被更新。例如,更新后的特征模型中包括人物502的图像特征、人物602的图像特征、汽车604的图像特征、汽车606的图像特征以及小狗1502的图像特征。如果手机在第二拍摄画面1501中没有追踪到汽车1403,说明汽车1403已经离开当前的拍摄画面(即第二拍摄画面1501)。手机可基于更新后的特征模型,重新执行上述步骤S302-S305确定第二拍摄画面1501中的追踪目标为小狗1502。此时,手机在拍摄过程中的追踪目标已经由汽车1403转变为小狗1502。当然,如果第二拍摄画面1501中的拍摄对象与特征模型中的拍摄目标均不匹配,则手机也可放弃确定第二拍摄画面1501中的追踪目标。
[0136]
进而,如图16所示,当手机采集到第三拍摄画面1601时,此时的特征模型与手机采集第二拍摄画面1501时的特征模型可能相同或不同。此时,如果汽车1403重新回到了第三拍摄画面1601中,手机可通过上述步骤S303确定第三拍摄画面1601中的拍摄对象为汽车1403。进而,手机可通过上述步骤S304计算汽车1403与特征模型中的各个拍摄目标之间的匹配度。由于此时特征模型中还记录有汽车604的图像特征,因此,如果手机计算出汽车1403与汽车604之间的匹配度最高且该匹配度大于匹配度阈值,则手机可将第三拍摄画面1601中的汽车1403再次确定为追踪目标进行追踪。
[0137]
可以看出,手机创建的特征模型中记录有最近一段时间内拍摄画面中出现的多个拍摄目标。那么,当某一拍摄目标作为追踪目标离开拍摄画面后,当该拍摄目标重新回到拍摄画面时,如果特征模型中还记录有该拍摄目标,则手机可再次将该拍摄目标确定为追踪目标。这样,用户在追踪拍摄某一物体时如果不小心将该物体移动至摄像头的拍摄范围之外,当用户重新在拍摄画面中拍摄到该物体时,手机仍然可以在拍摄画面中识别出该物体继续追踪,从而提升用户的拍摄体验。
[0138]
进一步地,手机在拍摄画面中追踪步骤S305确定出的追踪目标时,还可以在拍摄画面中向用户提示追踪目标的细节特征。例如,手机可提取追踪目标上的多个特征点,例如,该特征点可用于指示追踪目标轮廓,或追踪目标发生运动状态变化的位置,或追踪目标中颜色或形态发生明显变化的位置。进而,手机可以在拍摄画面中标记出这些特征点展示给用户,使用户在拍摄过程中可以实时获知追踪目标的细节或变化。
[0139]
示例性的,如图17中的(a)所示,手机确定出当前拍摄画面1701中的追踪目标为人物1702后,手机可确定人物1702的占位框1703。占位框1703一般是一个矩形,可以容纳下追踪目标(例如人物1702)。进而,手机可使用预设的特征提取算法提取占位框1703内的X(X>1)个特征点。这X个特征点可以反映出人物1702中形态或位置发生的显著变化。如图17中的(b)所示,手机可将提取到的X个特征点用矩形框1704(或圆形框、菱形框等形状)标记在拍摄画面1701中。
[0140]
其中,上述特征提取算法可以是HOG(histogram of oriented gradient,方向梯度直方图)提取算法,SIFT(scale-invariant feature transform,尺度不变特征变换)提取算法,FAST(features from accelerated segment test,加速段测试的特征)提取算法,SURF(speeded up robust features,加速鲁棒特征)提取算法或ORB(oriented fast and rotated brief)提取算法等,本申请实施例对此不做任何限制。
[0141]
以手机使用矩形框1704标记特征点举例,由于手机提取到的特征点的大小一般很小,因此,手机可设置面积较大的矩形框1704标记特征点。例如,手机可预先将拍摄画面划分为多个矩形块(例如300*400的矩形块)。那么,手机提取的特征点一般都落入某一个矩形块内。以手机标记特征点A举例,手机可将包含特征点A的大小为2*2的矩形块组成的矩形,确定为与特征点A对应的矩形框,手机可通过高亮等方式标记该矩形框。
[0142]
在一些实施例中,如果手机在占位框1703中提取到的特征点的数目X大于设置值(例如10个),则手机可在这X个特征点中挑选10个进行标记。例如,手机可在提取到的X个特征点中随机选择10个特征点进行标记。或者,手机可在这X个特征点中选择形态或位置变化更为显著的10个特征点进行标记。以HOG提取算法举例,手机使用HOG提取算法提取到X个特征点的梯度值后,手机可选择梯度值最大的10个特征点进行标记,避免在拍摄画面中标记过多的特征点影响用户观看的视觉效果。
[0143]
同样,如果手机确定出的追踪目标(例如上述人物1702)的占位框1703所占的面积较小,如果继续提取追踪目标的多个特征点进行标记也可能会影响用户观看的视觉效果。因此,当占位框1703所占的面积小于面积阈值时,手机可在拍摄画面中标记追踪目标的占位框(例如上述占位框1703),向用户提示当前识别出的追踪对象。
[0144]
手机在追踪上述追踪目标(例如上述人物1702)时,可通过上述方法在每一拍摄画面中标记人物1702的特征点。示例性的,手机可以在当前拍摄画面中识别出人物1702后,可将当前拍摄画面中的人物1702与缓存的上一帧拍摄画面中的人物1702对比。如果确定人物1702没有运动,则手机可继续使用上一帧拍摄画面中人物1702的特征点标记当前拍摄画面中人物1702的特征点。
[0145]
如果确定人物1702存在运动变化,则手机可按照上述方法重新在当前拍摄画面中提取定人物1702的特征点,并在当前拍摄画面中标记提取到的特征点。示例性的,如图18所示,用户可使用相机APP的录像功能打开摄像头进行录像。通过上述步骤S301-S305,手机可识别出拍摄画面中的人物1702为Alice,并将人物1702确定为追踪目标。进而,手机在显示每一帧拍摄画面时均可标记提取到的人物1702的特征点。这些特征点实现了对追踪目标细节的刻画,用户通过这些特征点可以更加直观和清楚的观察到追踪目标的运动情况,便于用户对追踪目标进行对焦和抓拍,提高了用户的拍摄体验。
[0146]
仍以图18所示的录像场景举例,手机在拍摄画面中持续追踪人物1702时,如果检测到当前的拍摄画面中没有与人物1702匹配的图像特征,说明Alice已经离开当前的拍摄画面。 如图19中的(a)所示,手机在拍摄画面1902中没有提取到与人物1702匹配的图像特征后,手机可重新提取拍摄画面1902中的拍摄对象,例如,在拍摄画面1902中手机提取到的拍摄对象为人物1901。那么,如果此时特征模型中没有与人物1901匹配的拍摄目标的图像特征,则手机不会将人物1901确定为新的追踪目标,此时,在拍摄画面1902中手机无需标记人物1901的特征点。当然,如果人物1901的图像特征与特征模型中某一拍摄目标的图像特征的匹配度大于阈值,则手机可将人物1901确定为新的追踪目标进行追踪。
[0147]
在一些实施例中,当手机检测到追踪目标(例如上述人物1702)离开拍摄画面后,手机可设置一个预设的时间长度(例如1秒)。在这1秒内手机可停止在新获取到的拍摄画面中确定新的追踪目标。也就是说,在人物1702离开拍摄画面后的1秒内,用户实际希望拍摄的焦点很可能还是人物1702,因此手机不会将拍摄画面1902中新出现的人物1901确定为新的追踪目标。如图19中的(b)所示,如果在1秒内手机在拍摄画面1903中重新检测到人物1702,则手机可继续将人物1702作为追踪目标,并在后续拍摄画面中继续追踪人物1702,实现拍摄过程中对某一追踪目标持续不间断的追踪。当然,如果在1秒内手机仍未检测到人物1702再次回到拍摄画面中,则手机可按照上述步骤S302-S305重新确定当前拍摄画面中的追踪目标进行追踪。
[0148]
另外,在上述人物1702离开拍摄画面的预设时间长度(例如1秒)内,手机可停止更新上述特征模型中拍摄目标的图像特征,或者,手机可继续按照步骤S307所述的方法更新上述特征模型中M个拍摄目标的图像特征,本申请实施例对此不做任何限制。
[0149]
在一些实施例中,手机在录像时还可以提供拍照功能。如图20所示,手机开启录像功能时还可以显示拍照按钮2001。在录像过程中手机可按照上述方法实时追踪拍摄画面中的追踪目标。以追踪目标为上述人物1702举例,如果检测到用户在录像过程中点击拍照按钮2001,则手机可自动对当前拍摄画面1903中正在追踪的人物1702进行对焦并拍照。拍照得到的照片缩略图2002可显示在当前界面中。这样一来,在动态的录像过程中手机可响应用户的拍照操作自动对焦追踪目标进行拍照,便于用户对追踪目标进行对焦和抓拍,提高了用户的拍摄体验。
[0150]
如图21所示,本申请实施例公开了一种电子设备,包括:触摸屏2101,所述触摸屏2101包括触敏表面2106和显示屏2107;一个或多个处理器2102;存储器2103;一个或多个摄像头2108;一个或多个应用程序(未示出);以及一个或多个计算机程序2104,上述各器件可以通过一个或多个通信总线2105连接。其中,该一个或多个计算机程序2104被存储在上述存储器2103中并被配置为被该一个或多个处理器2102执行,该一个或多个计算机程序2104包括指令,上述指令可以用于执行上述各个实施例中所述的拍摄方法。
[0151]
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0152]
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0153]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以 存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0154]
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

权利要求书

[权利要求 1]
一种拍摄方法,其特征在于,包括: 电子设备获取第一拍摄画面,所述第一拍摄画面中包括第一拍摄对象; 所述电子设备显示所述第一拍摄画面时,将所述第一拍摄对象确定为追踪目标进行追踪; 所述电子设备获取第二拍摄画面,所述第二拍摄画面中不包括所述第一拍摄对象; 所述电子设备显示所述第二拍摄画面; 所述电子设备获取第三拍摄画面,所述第三拍摄画面中包括所述第一拍摄对象; 所述电子设备显示所述第三拍摄画面时,重新将所述第一拍摄对象确定为追踪目标继续追踪。
[权利要求 2]
根据权利要求1所述的方法,其特征在于,在电子设备获取第一拍摄画面之前,还包括: 所述电子设备检测到用户打开摄像头或开始录像的操作; 响应于所述操作,电子设备根据所述摄像头捕捉到的N个拍摄画面创建特征模型,所述特征模型中包括M个拍摄目标,其中,每个拍摄目标至少在所述N个拍摄画面中的一个拍摄画面中出现过,N>1,M>1。
[权利要求 3]
根据权利要求2所述的方法,其特征在于,所述电子设备将所述第一拍摄对象确定为追踪目标进行追踪,包括: 若所述第一拍摄对象与第一拍摄目标匹配,则所述电子设备确定所述第一拍摄对象为所述追踪目标,所述第一拍摄目标为所述M个拍摄目标中的一个。
[权利要求 4]
根据权利要求3所述的方法,其特征在于,在所述电子设备确定所述第一拍摄对象为所述追踪目标之后,还包括: 所述电子设备根据所述第一拍摄对象的图像特征,更新所述特征模型中所述第一拍摄目标的图像特征。
[权利要求 5]
根据权利要求2-4中任一项所述的方法,其特征在于,所述第二拍摄画面中包括第二拍摄对象;在所述电子设备显示所述第二拍摄画面时,还包括: 若所述第二拍摄对象与第二拍摄目标匹配,则所述电子设备将所述第二拍摄对象确定为追踪目标进行追踪,所述第二拍摄目标为所述M个拍摄目标中除所述第一拍摄目标外的一个。
[权利要求 6]
根据权利要求5所述的方法,其特征在于,在所述电子设备获取第二拍摄画面之后,还包括: 若所述第二拍摄对象与所述M个拍摄目标均不匹配,则所述电子设备在所述特征模型中将所述第二拍摄对象添加为新的拍摄目标,并删除所述特征模型中创建时间最早的拍摄目标。
[权利要求 7]
根据权利要求2-6中任一项所述的方法,其特征在于,所述第三拍摄画面中还包括第二拍摄对象;其中,所述电子设备重新将所述第一拍摄对象确定为追踪目标继续追踪,包括: 所述电子设备确定所述第一拍摄对象与所述M个拍摄目标中第一拍摄目标之间的第一匹配度最高; 所述电子设备确定所述第二拍摄对象与所述M个拍摄目标中第二拍摄目标之间的第二匹配度最高; 若所述第一匹配度大于所述第二匹配度,且所述第一匹配度大于匹配度阈值,则所述电子设备重新将所述第一拍摄对象确定为追踪目标继续追踪。
[权利要求 8]
根据权利要求1-7中任一项所述的方法,其特征在于,在所述电子设备将所述第一拍 摄对象确定为追踪目标进行追踪之后,还包括: 若没有在当前的拍摄画面中追踪到所述第一拍摄对象,则所述电子设备记录所述第一拍摄对象的离开时刻; 其中,在所述电子设备获取第二拍摄画面之后,还包括: 若当前时刻距离所述离开时刻的时间小于预设值,则所述电子设备停止识别所述第二拍摄画面中的追踪对象; 若当前时刻距离所述离开时刻的时间大于或等于所述预设值,则所述电子设备重新识别所述第二拍摄画面中的追踪对象。
[权利要求 9]
根据权利要求1-8中任一项所述的方法,其特征在于,在所述电子设备显示所述第一拍摄画面时,还包括: 所述电子设备对所述第一拍摄画面中所述第一拍摄对象上的特征点进行标记; 在所述电子设备显示所述第三拍摄画面时,还包括: 所述电子设备对所述第三拍摄画面中所述第一拍摄对象上的特征点进行标记。
[权利要求 10]
一种电子设备,其特征在于,包括: 触摸屏,其中,所述触摸屏包括触敏表面和显示屏; 一个或多个摄像头; 一个或多个处理器; 一个或多个存储器; 以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行以下步骤: 获取第一拍摄画面,所述第一拍摄画面中包括第一拍摄对象; 显示所述第一拍摄画面时,将所述第一拍摄对象确定为追踪目标进行追踪; 获取第二拍摄画面,所述第二拍摄画面中不包括所述第一拍摄对象; 显示所述第二拍摄画面; 获取第三拍摄画面,所述第三拍摄画面中包括所述第一拍摄对象; 显示所述第三拍摄画面时,重新将所述第一拍摄对象确定为追踪目标继续追踪。
[权利要求 11]
根据权利要求10所述的电子设备,其特征在于,在电子设备获取第一拍摄画面之前,所述电子设备还用于执行以下步骤: 检测用户打开摄像头或开始录像的操作; 响应于所述操作,根据所述摄像头捕捉到的N个拍摄画面创建特征模型,所述特征模型中包括M个拍摄目标,其中,每个拍摄目标至少在所述N个拍摄画面中的一个拍摄画面中出现过,N>1,M>1。
[权利要求 12]
根据权利要求11所述的电子设备,其特征在于,所述电子设备将所述第一拍摄对象确定为追踪目标进行追踪,具体包括: 若所述第一拍摄对象与第一拍摄目标匹配,则确定所述第一拍摄对象为所述追踪目标,所述第一拍摄目标为所述M个拍摄目标中的一个。
[权利要求 13]
根据权利要求12所述的电子设备,其特征在于,在所述电子设备确定所述第一拍摄对象为所述追踪目标之后,所述电子设备还用于执行以下步骤: 根据所述第一拍摄对象的图像特征,更新所述特征模型中所述第一拍摄目标的图像特征。
[权利要求 14]
根据权利要求11-13中任一项所述的电子设备,其特征在于,所述第二拍摄画面中包括第二拍摄对象;在所述电子设备显示所述第二拍摄画面时,所述电子设备还用于执行以下步骤: 若所述第二拍摄对象与第二拍摄目标匹配,则将所述第二拍摄对象确定为追踪目标进行追踪,所述第二拍摄目标为所述M个拍摄目标中除所述第一拍摄目标外的一个。
[权利要求 15]
根据权利要求14所述的电子设备,其特征在于,在所述电子设备获取第二拍摄画面之后,所述电子设备还用于执行以下步骤: 若所述第二拍摄对象与所述M个拍摄目标均不匹配,则在所述特征模型中将所述第二拍摄对象添加为新的拍摄目标,并删除所述特征模型中创建时间最早的拍摄目标。
[权利要求 16]
根据权利要求11-15中任一项所述的电子设备,其特征在于,所述第三拍摄画面中还包括第二拍摄对象;其中,所述电子设备重新将所述第一拍摄对象确定为追踪目标继续追踪,具体包括: 确定所述第一拍摄对象与所述M个拍摄目标中第一拍摄目标之间的第一匹配度最高; 确定所述第二拍摄对象与所述M个拍摄目标中第二拍摄目标之间的第二匹配度最高; 若所述第一匹配度大于所述第二匹配度,且所述第一匹配度大于匹配度阈值,则重新将所述第一拍摄对象确定为追踪目标继续追踪。
[权利要求 17]
根据权利要求11-16中任一项所述的电子设备,其特征在于,在所述电子设备将所述第一拍摄对象确定为追踪目标进行追踪之后,所述电子设备还用于执行以下步骤: 若没有在当前的拍摄画面中追踪到所述第一拍摄对象,则记录所述第一拍摄对象的离开时刻; 其中,当所述电子设备获取第二拍摄画面之后,所述电子设备还用于执行以下步骤: 若当前时刻距离所述离开时刻的时间小于预设值,则停止识别所述第二拍摄画面中的追踪对象; 若当前时刻距离所述离开时刻的时间大于或等于所述预设值,则重新识别所述第二拍摄画面中的追踪对象。
[权利要求 18]
根据权利要求11-17中任一项所述的电子设备,其特征在于, 在所述电子设备显示所述第一拍摄画面时,所述电子设备还用于执行以下步骤: 对所述第一拍摄画面中所述第一拍摄对象上的特征点进行标记; 在所述电子设备显示所述第三拍摄画面时,所述电子设备还用于执行以下步骤: 对所述第三拍摄画面中所述第一拍摄对象上的特征点进行标记。
[权利要求 19]
一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-9中任一项所述的拍摄方法。
[权利要求 20]
一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1-9中任一项所述的拍摄方法。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6A]  
[ 图 6B]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13]  
[ 图 14]  
[ 图 15]  
[ 图 16]  
[ 图 17]  
[ 图 18]  
[ 图 19]  
[ 图 20]  
[ 图 21]