Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020108024 - PROCÉDÉ ET APPAREIL D'INTERACTION D'INFORMATIONS, DISPOSITIF ÉLECTRONIQUE, ET SUPPORT DE STOCKAGE

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26   27   28   29   30   31   32   33   34   35   36   37  

附图

1   2   3   4   5   6   7A   7B   7C   8   9   10   11   12   13A   13B   13C   14   15A   15B   16   17  

说明书

发明名称 : 信息交互方法、装置、电子设备及存储介质

[0001]
本申请要求在2018年11月30日提交中国专利局、申请号为201811458640.1、申请名称为“信息交互方法、装置、电子设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

[0002]
本申请实施例涉及互联网技术领域,尤其涉及一种信息交互方法、装置、电子设备及存储介质。

背景技术

[0003]
在实时互动网络直播系统中,绝大部分情况下一个直播间内只有一个主播,而观众则会有很多,因此,网络直播实现的是一种以主播的影音表达为中心、以一对多进行交流为主要模式的互动交流场景,并需要保证观众之间的平等关系。发明人发现,在目前的相互交流过程中,有一种方式是主播用户发送信息提示,以使观众用户根据该提示信息给出相应的结果信息,当结果信息与预设结果匹配时按预设规则对观众用户进行奖励。然而这种方式的程式固定,无法吸引更多的用户参与,从而降低了直播的效果。
[0004]
发明内容
[0005]
为克服相关技术中存在的问题,本申请实施例提供一种信息交互方法、装置、电子设备及存储介质。
[0006]
第一方面,提供一种信息交互方法,包括:响应第一电子设备的口令选定指令,向与所述第三电子设备长连接的第二电子设备推送所述口令选定指令所指向的口令文本,以使所述第二电子设备显示所述口令文本;接收所述第二电子设备上传的与所述口令文本对应的动作视频;当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[0007]
第二方面,提供一种信息交互装置,包括:指令响应模块,被配置为响应所述第一电子设备的口令选定指令,向第二电子设备推送所述口令选定指令所指向的口令文本,以使所述第二电子设备显示所述口令文本;视频接收模块,被配置为接收所述第二电子设备上传的与所述口令文本对应的动作视频;第一执行模块,被配置为当所述动作视频与所述口令文本相匹配时,执行预设匹配操作。
[0008]
第三方面,提供一种信息交互方法,包括:接收并显示第一电子设备根据口令选定指 令所推送的口令文本;获取与所述口令文本对应的动作视频;检测所述动作视频与所述口令文本的语义是否匹配;当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[0009]
第四方面,提供一种信息交互装置,包括:信息接收模块,被配置为接收并显示第一电子设备根据口令选定指令所推送的口令文本;视频获取模块,被配置为获取与所述口令文本对应的动作视频;第二匹配检测模块,被配置为检测所述动作视频与所述口令文本的语义是否匹配;第二执行模块,被配置为当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[0010]
第五方面,提供一种电子设备,应用于网络直播系统,该电子设备包括:处理器,用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为:响应第一电子设备的口令选定指令,向第二电子设备推送所述口令选定指令所指向的口令文本,以使所述第二电子设备显示所述口令文本;接收所述第二电子设备上传的与所述口令文本对应的动作视频;当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[0011]
第六方面,提供一种电子设备,应用于网络直播系统,该电子设备包括:处理器,用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为:接收并显示第一电子设备根据口令选定指令所推送的口令文本;获取与所述口令文本对应的动作视频;检测所述动作视频与所述口令文本的语义是否匹配;当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[0012]
第七方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得所述移动终端能够执行如第一方面或第三方面所述的信息交互方法。
[0013]
第八方面,还提供了一种计算机程序产品,当所述计算机程序产品由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面或第三方面所述的信息交互方法。
[0014]
本申请实施例的实施例提供的技术方案可以包括以下有益效果:通过上述的操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。

附图说明

[0015]
图1是根据一示例性实施例示出的一种信息交互方法的流程图;
[0016]
图2是根据一示例性实施例示出的另一种信息交互方法的流程图;
[0017]
图3是根据一示例性实施例示出的又一种信息交互方法的流程图;
[0018]
图4是根据一示例性实施例示出的一种匹配检测方法的流程图;
[0019]
图5是根据一示例性实施例示出的一种模型训练方法的流程图;
[0020]
图6是根据一示例性实施例示出的另一种信息交互方法的流程图;
[0021]
图7a是根据一示例性实施例示出的一种信息交互装置的框图;
[0022]
图7b是根据一示例性实施例示出的另一种信息交互装置的框图;
[0023]
图7c是根据一示例性实施例示出的又一种信息交互装置的框图;
[0024]
图8是根据一示例性实施例示出的另一种信息交互装置的框图;
[0025]
图9是根据一示例性实施例示出的又一种信息交互装置的框图;
[0026]
图10是根据一示例性实施例示出的又一种信息交互装置的框图;
[0027]
图11是根据一示例性实施例示出的又一种信息交互装置的框图;
[0028]
图12是根据一示例性实施例示出的又一种信息交互方法的流程图;
[0029]
图13a是根据一示例性实施例示出的又一种信息交互方法的流程图;
[0030]
图13b是根据一示例性实施例示出的又一种信息交互方法的流程图;
[0031]
图13c是根据一示例性实施例示出的另一种匹配检测方法的流程图;
[0032]
图14是根据一示例性实施例示出的又一种信息交互装置的框图;
[0033]
图15a是根据一示例性实施例示出的又一种信息交互装置的框图;
[0034]
图15b是根据一示例性实施例示出的又一种信息交互装置的框图;
[0035]
图16是根据一示例性实施例示出的一种电子设备的框图;
[0036]
图17是根据一示例性实施例示出的另一种电子设备的框图。

具体实施方式

[0037]
图1是根据一示例性实施例示出的一种信息交互方法的流程图,这种信息交互方法应用于第三电子设备,该第三电子设备可以理解为网络直播系统的服务器,该信息交互方法具体包括以下步骤。
[0038]
S1、根据口令选定指令向第二电子设备推送口令文本。
[0039]
该口令选定指令是从与第二电子设备相对的第一电子设备所发送的,对于网络直播系统来说,该第一电子设备可以理解为与服务器长连接的观众端,第二电子设备则为与服务器长连接且与观众端相对应的主播端。当观众用户通过该观众端输入相应选定操作时,观众端根据该选定操作生成相应的口令选定指令,该口令选定指令指向预存的多个口令文本中的一个。
[0040]
在观众端发送相应口令选定指令时,将该指令指向的口令文本发送至该第二电子设 备,即向主播端发送该口令文本,以使该主播端接收并向主播用户显示该口令文本。主播用户在读取到该口令文本、甚至包括口令文本的语义在内的信息后,可以做出与该口令文本及其语义相匹配的动作。
[0041]
S2、接收与口令文本相对应的动作视频。
[0042]
该动作视频是在第二电子设备显示该口令文本及其语义时,由该第二电子设备的用户、即主播用户根据该口令文本及其语义做出的,用于以相应动作匹配该口令文本及其语义。
[0043]
在第二电子设备采集到其主播用户根据口令文本及其语义做出的动作的动作视频并上传时,接收该动作视频。
[0044]
S3、当动作视频与口令文本的语义相匹配时执行预设操作。
[0045]
即,当动作视频与口令文本及其语义相匹配时,执行预先规定的操作,例如向主播用户分配相应的奖励。
[0046]
从上述技术方案可以看出,本申请实施例提供了一种信息交互方法,该方法应用于网络直播系统的服务器,服务器用于响应与服务器长连接的第一电子设备的口令选定指令,向与服务器长连接的第二电子设备推送口令选定指令所指向的口令文本,以使第二电子设备显示口令文本;接收第二电子设备上传的与口令文本的语义对应的动作视频;当动作视频与口令文本的语义相匹配时,执行预设匹配操作。通过上述的操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0047]
图2是根据一示例性实施例示出的另一种信息交互方法的流程图,这种信息交互方法具体包括以下步骤。
[0048]
S1、根据口令选定指令向第二电子设备推送口令文本。
[0049]
本步骤与上一实施例的相应操作相同,这里不再赘述。
[0050]
S2、接收与口令文本相对应的动作视频。
[0051]
本步骤与上一实施例的相应操作相同,这里不再赘述。
[0052]
S21、接收反映动作视频与口令文本的语义是否匹配的信息。
[0053]
即,第二电子设备在获取到动作视频后,即检测该动作视频与相应口令文本的语义是否匹配进行检测,并将检测结果在发送动作视频的同时或之后发送到第三电子设备。对应的,在接收动作视频之后或同时,接收该检测结果,即反映动作视频与口令文本的语义是否匹配的信息。
[0054]
S3、当动作视频与口令文本的语义相匹配时执行预设操作。
[0055]
即,根据接收到的匹配结果,确定动作视频与口令文本及其语义相匹配时,执行预先规定的操作,例如向主播用户分配相应的奖励。
[0056]
从上述技术方案可以看出,本申请实施例提供了一种信息交互方法,该方法应用于网络直播系统的服务器,服务器用于响应与服务器长连接的第一电子设备的口令选定指令,向与服务器长连接的第二电子设备推送口令选定指令所指向的口令文本,以使第二电子设备显示口令文本;接收第二电子设备上传的与口令文本对应的动作视频;接收反映动作视频与口令文本的语义是否匹配的信息;当动作视频与口令文本放入语义相匹配时,执行预设匹配操作。通过上述的操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0057]
图3是根据一示例性实施例示出的又一种信息交互方法的流程图,这种信息交互方法具体包括以下步骤。
[0058]
S1、根据口令选定指令向第二电子设备推送口令文本。
[0059]
本步骤与上一实施例的相应操作相同,这里不再赘述。
[0060]
S2、接收与口令文本的语义相对应的动作视频。
[0061]
本步骤与上一实施例的相应操作相同,这里不再赘述。
[0062]
S3、检测动作视频是否与口令文本的语义相匹配。
[0063]
在接收到该动作视频后,通过提取其中的动作特征对其与口令及其语义是否匹配进行检测,即检测其动作序列是否能够表达该口令文本及其语义。如图4所示,具体的检测方法如下所描述:
[0064]
S31、获取动作视频中多个关键点的位置和时序。
[0065]
即,对该动作视频进行目标检测,确定其中运动目标、即主播用户的身体的多关键点的位置和时序,关键点可以选择主播用户的头、颈、肘、手、胯、膝盖部和脚步等关键点。然后确定每个关键点的位置和时序,时序也可以看作各个关键点的位置的时序性指标。
[0066]
S32、利用动作识别模型对关键点的位置和时序进行识别。
[0067]
在得到多个关键点的位置和时序后,将相应的位置和时序输入到预先训练的动作识别模型中进行识别,从而得到动作视频中的动作与预设的标准库中与口令文本对应的标准动作之间的距离,例如欧式距离。
[0068]
S33、根据距离判断动作视频与口令文本是否匹配。
[0069]
在得到该距离、如欧式距离后,将该距离与一个预设距离阈值相比较,当该距离大于 或等于该预设距离阈值时,判定该口令文本与该动作视频相匹配;否则,判定该口令文本与该动作视频不匹配。该预设距离阈值可以根据经验参数确定。
[0070]
这里还包括如下步骤,如图5所示,用于通过对深度网络的训练得到该动作识别模型。
[0071]
S311、获取训练样本。
[0072]
这里的训练样本包括正向样本和负向样本,正向样本是指与预设的口令文本相对应的多个关键点,以及每个关键点的位置和时序;负向样本指不符合口令文本的多个关键点的位置和时序。
[0073]
S312、利用训练样本对预设神经网络进行训练。
[0074]
在训练时,分别将训练样本输入到预设神经网络中进行训练,该神经网络可以由卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN)构成,其中的损失函数为增加区分度的损失函数,如对比损失(Contrastive Loss)或三元组损失(triplet loss),目的是让正向样本输入这个神经网络后输出的数值(比如是一个1024维数的向量)跟标准库的标准动作输入这个神经网络后输出的数值的距离如欧氏距离相近,且使负向样本输入这个神经网络后输出的数值跟标准库的标准动作输入这个神经网络后所输出的距离不相近。
[0075]
S4、当动作视频与口令文本的语义相匹配时执行预设操作。
[0076]
本步骤与上一实施例的相应操作相同,这里不再赘述。
[0077]
从上述技术方案可以看出,本申请实施例提供了一种信息交互方法,该方法应用于网络直播系统的服务器,服务器用于响应与服务器长连接的第一电子设备的口令选定指令,向与服务器长连接的第二电子设备推送口令选定指令所指向的口令文本,以使第二电子设备显示口令文本;接收第二电子设备上传的与口令文本对应的动作视频;检测动作视频与口令文本的语义是否匹配;当动作视频与口令文本的语义相匹配时,执行预设匹配操作。通过上述的操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0078]
另外,如图6所示,本申请实施例中在根据口令选定指令向第二电子设备推送口令文本之前,还包括如下步骤:
[0079]
S01、向第一电子设备推送选择列表。
[0080]
即,将包括供观众用户进行选择的选择列表项第一电子设备推送,使第一电子设备显示该选择列表,当观众用户通过选择操作输入相应的口令选定指令时,产生一个选择事件,并根据该选择事件选定某个待选口令。
[0081]
S02、接收第一电子设备包含待选口令的口令选定指令。
[0082]
当第一电子设备上传该口令选定指令时,上传该指令,并接收该指令包括的待选口令。
[0083]
还有,本申请实施例中在接收第二电子设备上传的多个视频之前,还包括:
[0084]
对口令文本进行语义分析,从而得到相应口令文本的语义,以便第二电子设备在显示口令文本的时候还能显示其语义,从而帮助主播用户理解口令文本的确切含义。
[0085]
图7a是根据一示例性实施例示出的一种信息交互装置的框图,这种信息交互装置应用于网络直播系统的服务器,具体包括指令响应模块10、视频接收模块20和第一执行模块40。
[0086]
指令响应模块10用于根据口令选定指令向第二电子设备推送口令文本。
[0087]
该口令选定指令是从与第二电子设备相对的第一电子设备所发送的,对于网络直播系统来说,该第一电子设备可以理解为与服务器长连接的观众端,第二电子设备则为与服务器长连接且与观众端相对应的主播端。当观众用户通过该观众端输入相应选定操作时,观众端根据该选定操作生成相应的口令选定指令,该口令选定指令指向预存的多个口令文本中的一个。
[0088]
在观众端发送相应口令选定指令时,将该指令指向的口令文本发送至该第二电子设备,即向主播端发送该口令文本,以使该主播端接收并向主播用户显示该口令文本。主播用户在读取到该口令文本、甚至包括口令文本的语义在内的信息后,可以做出与该口令文本及其语义相匹配的动作。
[0089]
视频接收模块20用于接收与口令文本的语义相对应的动作视频。
[0090]
该动作视频是在第二电子设备显示该口令文本及其语义时,由该第二电子设备的用户即主播用户根据该口令文本及其语义做出的,用于以相应动作匹配该口令文本及其语义。
[0091]
在第二电子设备采集到其主播用户根据口令文本及其语义做出的动作的动作视频并上传时,接收该动作视频。
[0092]
第一执行模块40用于当动作视频与口令文本相匹配时执行预设操作。
[0093]
即当确定动作视频与口令文本及其语义相匹配时,执行预先规定的操作,例如向主播用户分配相应的奖励。
[0094]
从上述技术方案可以看出,本申请实施例提供了一种信息交互装置,该装置应用于网络直播系统的服务器,服务器响应与服务器长连接的第一电子设备的口令选定指令,向与服务器长连接的第二电子设备推送口令选定指令所指向的口令文本,以使第二电子设备显示口令文本;接收第二电子设备上传的与口令文本对应的动作视频;当动作视频与口令文 本的语义相匹配时,执行预设匹配操作。通过上述的操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0095]
另外,如图7b所示,在本申请一个具体实施方式中,还包括结果接收模块21。
[0096]
第二电子设备在获取到动作视频后,即检测该动作视频与相应口令文本的语义是否匹配进行检测,并将检测结果在发送动作视频的同时或之后予以发送到第三电子设备。对应的,该结果接收模块用于在接收动作视频之后或同时,接收该检测结果,即反映动作视频与口令文本的语义是否匹配的信息。以使第一执行模块有明确的执行依据。
[0097]
图7c是根据一示例性实施例示出的又一种信息交互装置的框图,这种信息交互装置应用于网络直播系统的服务器,具体包括指令响应模块10、视频接收模块20、第一匹配检测模块30和第一执行模块40。
[0098]
指令响应模块10用于根据口令选定指令向第二电子设备推送口令文本。
[0099]
该口令选定指令是从与第二电子设备相对的第一电子设备所发送的,对于网络直播系统来说,该第一电子设备可以理解为与服务器长连接的观众端,第二电子设备则为与服务器长连接且与观众端相对应的主播端。当观众用户通过该观众端输入相应选定操作时,观众端根据该选定操作生成相应的口令选定指令,该口令选定指令指向预存的多个口令文本中的一个。
[0100]
在观众端发送相应口令选定指令时,将该指令指向的口令文本发送至该第二电子设备,即向主播端发送该口令文本,以使该主播端接收并向主播用户显示该口令文本。主播用户在读取到该口令文本、甚至包括口令文本的语义在内的信息后,可以做出与该口令文本及其语义相匹配的动作。
[0101]
视频接收模块20用于接收与口令文本的语义相对应的动作视频。
[0102]
该动作视频是在第二电子设备显示该口令文本及其语义时,由该第二电子设备的用户、即主播用户根据该口令文本及其语义做出的,用于以相应动作匹配该口令文本及其语义。
[0103]
在第二电子设备采集到其主播用户根据口令文本及其语义做出的动作的动作视频并上传时,接收该动作视频。
[0104]
第一匹配检测模块30用于检测动作视频是否与口令文本相匹配。
[0105]
在接收到该动作视频后,通过提取其中的动作特征对其与口令及其语义是否匹配进行检测,即检测器动作序列是否能够表达该口令文本及其语义。如图8所示,该模块具体包 括动作获取单元31、动作识别单元32和结果判定单元33。
[0106]
动作获取单元31用于获取动作视频中多个关键点的位置和时序。
[0107]
即对该动作视频进行目标检测,确定其中运动目标、即主播用户的身体的多关键点的位置和时序,关键点可以选择主播用户的头、颈、肘、手、胯、膝盖部和脚步等关键点。然后确定每个关键点的位置和时序,时序也可以看作各个关键点的位置的时序性指标。
[0108]
动作识别单元32用于利用动作识别模型对关键点的位置和时序进行识别。
[0109]
在得到多个关键点的位置和时序后,将相应的位置和时序输入到预先训练的动作识别模型中进行识别,从而得到动作视频中的动作与预设的标准库中与口令文本对应的标准动作之间的距离,例如欧式距离。
[0110]
结果判定单元33用于根据距离判断动作视频与口令文本是否匹配。
[0111]
在得到该距离、如欧式距离后,将该距离与一个预设距离阈值相比较,当该距离大于或等于该预设距离阈值时,判定该口令文本与该动作视频相匹配;否则,判定该口令文本与该动作视频不匹配。该预设距离阈值可以根据经验参数确定。
[0112]
另外,该模块还包括样本获取单元34和模型训练单元35,如图9所示,用于通过对深度网络的训练得到该动作识别模型。
[0113]
样本获取单元34用于获取训练样本。
[0114]
这里的训练样本包括正向样本和负向样本,正向样本是指与预设的口令文本相对应的多个关键点,以及每个关键点的位置和时序;负向样本指不符合口令文本的多个关键点的位置和时序。
[0115]
模型训练单元35用于利用训练样本对预设神经网络进行训练。
[0116]
在训练时,分别将训练样本输入到预设神经网络中进行训练,该神经网络可以由CNN和RNN构成,其中的损失函数为增加区分度的损失函数,如Contrastive Loss或triplet loss,目的是让正向样本输入这个神经网络后输出的数值(比如是一个1024维数的向量),跟标准库的标准动作输入这个神经网络后输出的数值的距离、如欧氏距离相近,且使负向样本输入这个神经网络后输出的数值跟标准库的标准动作输入这个神经网络所输出的距离不相近。
[0117]
第一执行模块40用于当动作视频与口令文本相匹配时执行预设操作。
[0118]
即,通过上面的判断,确定动作视频与口令文本及其语义相匹配时,执行预先规定的操作,例如向主播用户分配相应的奖励。
[0119]
从上述技术方案可以看出,本申请实施例提供了一种信息交互装置,该装置应用于网 络直播系统的服务器,服务器响应与服务器长连接的第一电子设备的口令选定指令,向与服务器长连接的第二电子设备推送口令选定指令所指向的口令文本,以使第二电子设备显示口令文本;接收第二电子设备上传的与口令文本对应的动作视频;检测动作视频与口令文本的语义是否匹配;当动作视频与口令文本的语义相匹配时,执行预设匹配操作。通过上述的操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0120]
另外,如图10所示,本申请实施例中的信息交互装置还包括列表推送模块50和指令接收模块60。
[0121]
列表推送模块50用于向第一电子设备推送选择列表。
[0122]
即将包括供观众用户进行选择的选择列表项第一电子设备推送,使第一电子设备显示该选择列表,当观众用户通过选择操作输入相应的口令选定指令时,产生一个选择事件,并根据该选择事件选定某个待选口令。
[0123]
指令接收模块60还用于接收第一电子设备包含待选口令的口令选定指令。
[0124]
当第一电子设备上传该口令选定指令时,上传该指令,并接收该指令包括的待选口令。
[0125]
还有,如图11所示,本申请实施例中的信息交互装置还包括语义分析模块70在视频接收模块20接收第二电子设备上传的多个视频之前,用于对口令文本进行语义分析,从而得到相应口令文本的语义,以便第二电子设备在显示口令文本的时候还能显示其语义,从而帮助主播用户理解口令文本的确切含义。
[0126]
图12是根据一示例性实施例示出的又一种信息交互方法的流程图,本申请实施例提供的信息交互方法应用于与第一电子设备直接或间接连接的第二电子设备,第一电子设备可以为网络直播系统的观众端,第二电子设备可以为网络直播系统的主播端。该信息交互方法包括:
[0127]
S401、接收第一电子设备根据口令选定指令推送的口令文本。
[0128]
该口令选定指令为第一电子设备的用户、如观众端的用户根据该第一电子设备所显示的内容所输入的命令。当观众端的用户输入相应的口令选定指令选定相应的口令文本后,该第一电子设备将该口令文本发送出去,此时接收该口令文本。
[0129]
第一电子设备和第二电子设备均可以为智能手机、平板电脑等移动终端,也可以理解为联网的个人电脑等智能设备。
[0130]
S402、获取与口令文本对应的动作视频。
[0131]
具体来说是获取设置在该第二电子设备上或者与该第二电子设备相连接的视频采集 设备、如摄像头等所采集的视频,具体来说是使用该第二电子设备的主播用户根据该口令文本所做的动作视频,例如做出一定的姿势,或者做出一系列动作的组合等。
[0132]
S403、检测动作视频与口令文本的语义是否匹配。
[0133]
即,检测该动作视频中的动作是否符合该口令文本的语义,例如,当口令文本为举手时,检测动作视频中的动作是否为举手,如果是则动作视频与该口令文本的语义相匹配,反之则不匹配。值得指出的是,这里对动作视频与口令文本的语义是否匹配的检测是在主播端完成的。当有服务器存在的情况下,信息通过服务器向第一电子设备进行交互或者信息直接与第一电子设备进行交互。
[0134]
S404、当动作视频与口令文本的语义匹配时执行预设匹配操作。
[0135]
这里的操作与上述实施例中的操作相同,因此不再赘述。
[0136]
从上述技术方案可以看出,通过上述操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0137]
另外,如图13a所示,本申请实施例中在接收第一电子设备推送口令文本之前,还包括:
[0138]
S400、向第一电子设备推送选择列表。
[0139]
该选择列表中包括多个供用户选择的待选口令,分别指向不同的口令文本,以使用户能够通过对待选口令的选择从中选定不同的口令文本,并使之被发送到第二电子设备。
[0140]
另外,如图13b所示,本申请实施例中,在接收第一电子设备推送的口令文本之后,还包括:
[0141]
S405、对口令文本的语义进行分析。
[0142]
通过对口令文本的语义进行分析,得到该口令文本真实的语义,以便在对动作视频与口令文本是否匹配进行检测时有客观的依据。
[0143]
还有,如图13c所示,本申请实施例中检测动作视频与口令文本的语义是否匹配包括如下步骤:
[0144]
S4031、获取动作视频中多个关键点的位置和时序。
[0145]
即,对该动作视频进行目标检测,确定其中运动目标、即主播用户的身体的多关键点的位置和时序,关键点可以选择主播用户的头、颈、肘、手、胯、膝盖部和脚步等关键点。然后确定每个关键点的位置和时序,时序也可以看作各个关键点的位置的时序性指标。
[0146]
S4032、利用动作识别模型对关键点的位置和时序进行识别。
[0147]
在得到多个关键点的位置和时序后,将相应的位置和时序输入到预先训练的动作识别 模型中进行识别,从而得到动作视频中的动作与预设的标准库中与口令文本对应的标准动作之间的距离,例如欧式距离。
[0148]
S4033、根据距离判断动作视频与口令文本是否匹配。
[0149]
在得到该距离、如欧式距离后,将该距离与一个预设距离阈值相比较,当该距离大于或等于该预设距离阈值时,判定该口令文本与该动作视频相匹配;否则,判定该口令文本与该动作视频不匹配。该预设距离阈值可以根据经验参数确定。
[0150]
图14是根据一示例性实施例示出的又一种信息交互装置的框图,本申请实施例提供的信息交互装置应用于与第一电子设备直接或间接连接的第二电子设备,第一电子设备可以看作为网络直播系统的观众端,第二电子设备可以看作网络直播系统的主播端。该信息交互装置包括信息接收模块410、视频获取模块420、第二匹配检测模块430和第二执行模块440。
[0151]
信息接收模块被配置为接收第一电子设备根据口令选定指令推送的口令文本。
[0152]
该口令选定指令为第一电子设备的用户、如观众端的用户根据该第一电子设备所显示的内容所输入的命令。当观众端的用户输入相应的口令选定指令选定相应的口令文本后,该第一电子设备将该口令文本发送出去,此时接收该口令文本。
[0153]
第一电子设备和第二电子设备均可以为智能手机、平板电脑等移动终端,也可以理解为联网的个人电脑等智能设备。
[0154]
视频获取模块被配置为获取与口令文本对应的动作视频。
[0155]
具体来说是获取设置在该第二电子设备上或者与该第二电子设备相连接的视频采集设备、如摄像头等所采集的视频,具体来说是使用该第二电子设备的主播用户根据该口令文本所做的动作视频,例如做出一定的姿势,或者做出一系列动作的组合等。
[0156]
第二匹配检测模块被配置为检测动作视频与口令文本的语义是否匹配。
[0157]
即,检测该动作视频中的动作是否符合该口令文本的语义,例如,当口令文本为举手时,检测动作视频中的动作是否为举手,如果是则动作视频与该口令文本的语义相匹配,反之则不匹配。
[0158]
第二执行模块被配置为当动作视频与口令文本的语义匹配时执行预设匹配操作。
[0159]
这里的操作与上述实施例中的操作相同,因此不再赘述。
[0160]
从上述技术方案可以看出,通过上述操作,可以对用户在不同的情况下执行预设的操作,比如奖励,从而丰富了信息交互的方式,能够吸引更多的用户参加,提高了直播效果。
[0161]
另外,如图15a所示,本申请实施例还包括列表发送模块450。
[0162]
列表发送模块被配置为向第一电子设备推送选择列表。
[0163]
该选择列表中包括多个供用户选择的待选口令,分别指向不同的口令文本,以使用户能够通过对待选口令的选择从中选定不同的口令文本,并使之被发送到第二电子设备。
[0164]
另外,如图15b所示,本申请实施例还包括分析执行模块460。
[0165]
该分析执行模块用于在信息接收模块接收第一电子设备推送口令文本之后,对口令文本的语义进行分析。
[0166]
通过对口令文本的语义进行分析,得到该口令文本真实的语义,以便在对动作视频与口令文本是否匹配进行检测时有客观的依据。
[0167]
还有,本申请实施例中第二匹配检测模块具体包括参数获取单元、识别执行单元和判定执行单元。
[0168]
参数获取单元用于获取动作视频中多个关键点的位置和时序。
[0169]
即,对该动作视频进行目标检测,确定其中运动目标、即主播用户的身体的多关键点的位置和时序,关键点可以选择主播用户的头、颈、肘、手、胯、膝盖部和脚步等关键点。然后确定每个关键点的位置和时序,时序也可以看作各个关键点的位置的时序性指标。
[0170]
识别执行单元用于利用动作识别模型对关键点的位置和时序进行识别。
[0171]
在得到多个关键点的位置和时序后,将相应的位置和时序输入到预先训练的动作识别模型中进行识别,从而得到动作视频中的动作与预设的标准库中与口令文本对应的标准动作之间的距离,例如欧式距离。
[0172]
判定执行单元用于根据距离判断动作视频与口令文本是否匹配。
[0173]
在得到该距离、如欧式距离后,将该距离与一个预设距离阈值相比较,当该距离大于或等于该预设距离阈值时,判定该口令文本与该动作视频相匹配;否则,判定该口令文本与该动作视频不匹配。该预设距离阈值可以根据经验参数确定。
[0174]
本申请实施例中还提供一种计算机程序,该计算机程序用于执行如图1~6、12、13a、13b或13c描述的信息交互方法。
[0175]
图16是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备可以被提供为一服务器。参照图16,电子设备包括处理组件1622,其进一步包括一个或多个处理器,以及由存储器1632所代表的存储器资源,用于存储可由处理组件1622的执行的指令,例如应用程序。存储器1632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1622被配置为执行指令,以执行图1~6、12、13a、13b或13c中所示的信息交互方法。
[0176]
电子设备还可以包括一个电源组件1626被配置为执行电子设备的电源管理,一个有线或无线网络接口1650被配置为将电子设备连接到网络,和一个输入/输出(I/O)接口1658。电子设备可以操作基于存储在存储器1632的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
[0177]
图17是根据一示例性实施例示出的另一种电子设备的框图。例如,电子设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等移动设备。
[0178]
参照图17,电子设备可以包括以下一个或多个组件:处理组件1702,存储器1704,电源组件1706,多媒体组件1708,音频组件1710,输入/输出(I/O)的接口1712,传感器组件1714,以及通信组件1716。
[0179]
处理组件1702通常控制电子设备的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1702可以包括一个或多个处理器1720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1702可以包括一个或多个模块,便于处理组件1702和其他组件之间的交互。例如,处理组件1702可以包括多媒体模块,以方便多媒体组件1708和处理组件1702之间的交互。
[0180]
存储器1704被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
[0181]
电源组件1706为电子设备的各种组件提供电力。电源组件1706可以包括电源管理系统,一个或多个电源,及其他与为电子设备生成、管理和分配电力相关联的组件。
[0182]
多媒体组件1708包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1708包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个 前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0183]
音频组件1710被配置为输出和/或输入音频信号。例如,音频组件1710包括一个麦克风(MIC),当电子设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1704或经由通信组件1716发送。在一些实施例中,音频组件1710还包括一个扬声器,用于输出音频信号。
[0184]
I/O接口1712为处理组件1702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0185]
传感器组件1714包括一个或多个传感器,用于为电子设备提供各个方面的状态评估。例如,传感器组件1714可以检测到电子设备的打开/关闭状态,组件的相对定位,例如所述组件为电子设备的显示器和小键盘,传感器组件1714还可以检测电子设备或电子设备一个组件的位置改变,用户与电子设备接触的存在或不存在,电子设备方位或加速/减速和电子设备的温度变化。传感器组件1714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
[0186]
通信组件816被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。
[0187]
在示例性实施例中,电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述如图1~6、12、13a、13b或13c所示的信息交互方法。
[0188]
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

权利要求书

[权利要求 1]
一种信息交互方法,包括: 响应第一电子设备的口令选定指令,向第二电子设备推送所述口令选定指令所指向的口令文本,以使所述第二电子设备显示所述口令文本; 接收所述第二电子设备上传的与所述口令文本对应的动作视频; 当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[权利要求 2]
如权利要求1所述的信息交互方法,还包括: 向所述第一电子设备推送选择列表,所述选择列表包括多个待选口令; 接收所述第一电子设备根据选择事件上传的包含被选定的口令的所述口令选定指令。
[权利要求 3]
如权利要求1所述的信息交互方法,在接收所述第二电子设备上传的与所述口令文本对应的动作视频之后,还包括: 接收反映所述动作视频与所述口令文本的语义是否相匹配的信息。
[权利要求 4]
如权利要求1所述的信息交互方法,在接收所述第二电子设备上传的与所述口令文本对应的动作视频之后,还包括: 检测所述动作视频与所述口令文本的语义是否匹配。
[权利要求 5]
如权利要求4所述的信息交互方法,所述检测所述动作视频与所述口令文本的语义是否匹配,包括: 获取所述动作视频中运动目标的多个关键点的位置和时序; 将所述多个关键点的位置和时序输入到预先训练的动作识别模型进行识别,得到所述动作视频中动作与预设的标准动作库中与所述口令文本对应的标准动作的距离; 当所述距离达到预设标准时,判定所述动作视频与所述口令文本的语义相匹配。
[权利要求 6]
如权利要求5所述的信息交互方法,根据以下步骤训练所述动作识别模型: 获取训练样本,所述训练样本包括多个预设口令和每个预设口令对应的多个关键点,以及与每个关键点对应的位置和时序; 利用所述训练样本对预设神经网络进行训练,得到所述动作识别模型。
[权利要求 7]
如权利要求6所述的信息交互方法,所述训练样本包括正向样本和负向样本。
[权利要求 8]
如权利要求1所述的信息交互方法,在接收所述第二电子设备上传的与所述口令文本相对应的动作视频之前,还包括: 对所述口令文本进行语义分析,得到所述口令文本的语义。
[权利要求 9]
一种信息交互装置,包括: 指令响应模块,被配置为响应第一电子设备的口令选定指令,向第二电子设备推送所述口令选定指令所指向的口令文本,以使所述第二电子设备显示所述口令文本; 视频接收模块,被配置为接收所述第二电子设备上传的与所述口令文本对应的动作视 频; 第一执行模块,被配置为当所述动作视频与所述口令文本相匹配时,执行预设匹配操作。
[权利要求 10]
如权利要求9所述的信息交互装置,还包括: 列表推送模块,被配置为向所述第一电子设备推送选择列表,所述选择列表包括多个待选口令; 指令接收模块,被配置为接收所述第一电子设备根据选择事件上传的包含被选定的口令的所述口令选定指令。
[权利要求 11]
如权利要求9所述的信息交互装置,还包括: 结果接收模块,被配置为在接收所述第二电子设备上传的与所述口令文本对应的动作视频之后,接收反映所述动作视频与所述口令文本的语义是否相匹配的信息。
[权利要求 12]
如权利要求9所述的信息交互装置,还包括: 第一匹配检测模块,被配置为在接收所述第二电子设备上传的与所述口令文本对应的动作视频之后,检测所述动作视频与所述口令文本的语义是否匹配。
[权利要求 13]
如权利要求9所述的信息交互装置,所述匹配检测模块包括: 动作获取单元,被配置为获取所述动作视频中运动目标的多个关键点的位置和时序; 动作识别单元,被配置为将所述多个关键点的位置和时序输入到预先训练的动作识别模型进行识别,得到所述动作视频中动作与预设的标准动作库中与所述口令文本对应的标准动作的距离; 结果判定单元,被配置为当所述距离达到预设标准时,判定所述动作视频与所述口令文本相匹配。
[权利要求 14]
如权利要求13所述的信息交互装置,所述匹配检测模块还包括: 样本获取单元,被配置为获取训练样本,所述训练样本包括多个预设口令和每个所述预设口令对应的多个关键点,以及与每个所述关键点对应的位置和时序; 模型训练单元,被配置为利用所述训练样本对预设神经网络进行训练,得到所述动作识别模型。
[权利要求 15]
如权利要求14所述的信息交互装置,所述训练样本包括正向样本和负向样本。
[权利要求 16]
如权利要求9所述的信息交互装置,还包括: 语义分析模块,被配置为在接收所述第二电子设备上传的与所述口令文本相对应的动作视频之前,对所述口令文本进行语义分析,得到所述口令文本的语义。
[权利要求 17]
一种信息交互方法,包括: 接收并显示第一电子设备根据口令选定指令所推送的口令文本; 获取与所述口令文本对应的动作视频; 检测所述动作视频与所述口令文本的语义是否匹配; 当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[权利要求 18]
如权利要求17所述的信息交互方法,还包括: 向所述第一电子设备推送选择列表,所述选择列表包括多个待选口令,以使所述第一电子设备根据口令选定指令上传所述多个待选口令中被选定的口令所对应的口令文本。
[权利要求 19]
如权利要求17或18所述的信息交互方法,所述检测所述动作视频与所述口令文本的语义是否匹配,包括: 获取所述动作视频中运动目标的多个关键点的位置和时序; 将所述多个关键点的位置和时序输入到预先训练的动作识别模型进行识别,得到所述动作视频中动作与预设的标准动作库中与所述口令文本对应的标准动作的距离; 当所述距离达到预设标准时,判定所述动作视频与所述口令文本的语义相匹配。
[权利要求 20]
如权利要求17或18所述的信息交互方法,在接收并显示第一电子设备根据口令选定指令所推送的口令文本步骤之后,还包括: 对所述口令文本进行语义分析,得到所述口令文本的语义。
[权利要求 21]
一种信息交互装置,包括: 信息接收模块,被配置为接收并显示第一电子设备根据口令选定指令所推送的口令文本; 视频获取模块,被配置为获取与所述口令文本对应的动作视频; 第二匹配检测模块,被配置为检测所述动作视频与所述口令文本的语义是否匹配; 第二执行模块,被配置为当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[权利要求 22]
如权利要求21所述的信息交互装置,还包括: 列表发送模块,被配置为向所述第一电子设备推送选择列表,所述选择列表包括多个待选口令,以使所述第一电子设备根据口令选定指令上传所述多个待选口令中被选定的口令所对应的口令文本。
[权利要求 23]
如权利要求21或22所述的信息交互装置,所述第二匹配检测模块包括: 参数获取单元,被配置为获取所述动作视频中运动目标的多个关键点的位置和时序; 识别执行单元,被配置为将所述多个关键点的位置和时序输入到预先训练的动作识别模型进行识别,得到所述动作视频中动作与预设的标准动作库中与所述口令文本对应的标准动作的距离; 判定执行单元,被配置为当所述距离达到预设标准时,判定所述动作视频与所述口令文本的语义相匹配。
[权利要求 24]
如权利要求21或22所述的信息交互装置,还包括: 分析执行模块,被配置为在信息接收模块接收并显示第一电子设备根据口令选定指令所推送的口令文本之后,对所述口令文本进行语义分析,得到所述口令文本的语义。
[权利要求 25]
一种电子设备,应用于网络直播系统,包括: 处理器; 用于存储所述处理器可执行指令的存储器; 其中,所述处理器被配置为: 响应第一电子设备的口令选定指令,向第二电子设备推送所述口令选定指令所指向的口令文本,以使所述第二电子设备显示所述口令文本; 接收所述第二电子设备上传的与所述口令文本对应的动作视频; 当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[权利要求 26]
如权利要求25所述的电子设备,所述处理器还被配置为: 向所述第一电子设备推送选择列表,所述选择列表包括多个待选口令; 接收所述第一电子设备根据选择事件上传的包含被选定的口令的所述口令选定指令。
[权利要求 27]
如权利要求25所述的电子设备,所述处理器还被配置为: 在接收所述第二电子设备上传的与所述口令文本对应的动作视频之后,接收反映所述动作视频与所述口令文本的语义是否相匹配的信息。
[权利要求 28]
如权利要求25所述的电子设备,所述处理器还被配置为: 在接收所述第二电子设备上传的与所述口令文本对应的动作视频之后,检测所述动作视频与所述口令文本的语义是否匹配。
[权利要求 29]
如权利要求28所述的电子设备,所述处理器具体被配置为: 获取所述动作视频中运动目标的多个关键点的位置和时序; 将所述多个关键点的位置和时序输入到预先训练的动作识别模型进行识别,得到所述动作视频中动作与预设的标准动作库中与所述口令文本对应的标准动作的距离; 当所述距离达到预设标准时,判定所述动作视频与所述口令文本的语义相匹配。
[权利要求 30]
如权利要求29所述的电子设备,所述处理器具体被配置为根据以下步骤训练所述动作识别模型: 获取训练样本,所述训练样本包括多个预设口令和每个预设口令对应的多个关键点,以及与每个关键点对应的位置和时序; 利用所述训练样本对预设神经网络进行训练,得到所述动作识别模型。
[权利要求 31]
如权利要求30所述的电子设备,所述训练样本包括正向样本和负向样本。
[权利要求 32]
如权利要求25所述的电子设备,所述处理器还被配置为: 在接收所述第二电子设备上传的与所述口令文本相对应的动作视频之前,对所述口令文本进行语义分析,得到所述口令文本的语义。
[权利要求 33]
一种电子设备,应用于网络直播系统,包括: 处理器; 用于存储所述处理器可执行指令的存储器; 其中,所述处理器被配置为: 接收并显示第一电子设备根据口令选定指令所推送的口令文本; 获取与所述口令文本对应的动作视频; 检测所述动作视频与所述口令文本的语义是否匹配; 当所述动作视频与所述口令文本的语义相匹配时,执行预设匹配操作。
[权利要求 34]
如权利要求33所述的电子设备,所述处理器还被配置为: 向所述第一电子设备推送选择列表,所述选择列表包括多个待选口令,以使所述第一电子设备根据口令选定指令上传所述多个待选口令中被选定的口令所对应的口令文本。
[权利要求 35]
如权利要求33或34所述的电子设备,所述处理器具体被配置为: 获取所述动作视频中运动目标的多个关键点的位置和时序; 将所述多个关键点的位置和时序输入到预先训练的动作识别模型进行识别,得到所述动作视频中动作与预设的标准动作库中与所述口令文本对应的标准动作的距离; 当所述距离达到预设标准时,判定所述动作视频与所述口令文本的语义相匹配。
[权利要求 36]
如权利要求33或34所述的电子设备,所述处理器还被配置为: 在接收并显示第一电子设备根据口令选定指令所推送的口令文本步骤之后,对所述口令文本进行语义分析,得到所述口令文本的语义。
[权利要求 37]
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得所述移动终端能够执行如权利要求1~8或17~20任一项所述的信息交互方法。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7A]  
[ 图 7B]  
[ 图 7C]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]  
[ 图 13A]  
[ 图 13B]  
[ 图 13C]  
[ 图 14]  
[ 图 15A]  
[ 图 15B]  
[ 图 16]  
[ 图 17]