Some content of this application is unavailable at the moment.
If this situation persist, please contact us atFeedback&Contact
1. (WO2018006371) METHOD AND SYSTEM FOR SYNCHRONIZING SPEECH AND VIRTUAL ACTIONS, AND ROBOT
Latest bibliographic data on file with the International Bureau   

Pub. No.: WO/2018/006371 International Application No.: PCT/CN2016/089215
Publication Date: 11.01.2018 International Filing Date: 07.07.2016
IPC:
G10L 15/22 (2006.01)
G PHYSICS
10
MUSICAL INSTRUMENTS; ACOUSTICS
L
SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
15
Speech recognition
22
Procedures used during a speech recognition process, e.g. man-machine dialog
Applicants:
深圳狗尾草智能科技有限公司 SHENZHEN GOWILD ROBOTICS CO., LTD [CN/CN]; 中国广东省深圳市 南山区粤海街道科苑路16号东方科技大厦1307-09 1307-09, Dong-Fang Technology Building No.16 Keyuan Road, Yuehai Street, Nanshan Shenzhen, Guangdong 518000, CN
Inventors:
邱楠 QIU, Nan; CN
杨新宇 YANG, Xinyu; CN
王昊奋 WANG, Haofen; CN
Agent:
深圳市华优知识产权代理事务所(普通合伙) SHENZHEN HYVISION INTELLECTUAL PROPERTY ATTORNEY; 中国广东省深圳市 南山区高新区北区北环大道9116号富华科技大厦B栋4楼405室 Room 405, Tower B, Fuhua Technology Building, No.9116 Beihuan Road, North High-tech District, Nanshan Shenzhen, Guangdong 518000, CN
Priority Data:
Title (EN) METHOD AND SYSTEM FOR SYNCHRONIZING SPEECH AND VIRTUAL ACTIONS, AND ROBOT
(FR) PROCÉDÉ ET SYSTÈME DE SYNCHRONISATION DE PAROLES ET D'ACTIONS VIRTUELLES, ET ROBOT
(ZH) 一种同步语音及虚拟动作的方法、系统及机器人
Abstract:
(EN) A method for synchronizing speech and virtual actions, comprising: obtaining multimodal information of a user (S101); generating interactive content according to the multimodal information and a life timeline (300) of the user, the interactive content at least comprising speech information and action information (S102); and adjusting the length of time of the speech information and the length of time of the action information to be the same (S103). A system for synchronizing speech and virtual actions, comprising an acquisition module (201), an artificial intelligence module (202), a control module (203), and an output module (204). In this way, the interactive content may be generated according to one or more types of the multimodal information of the user, such as user's speech, a user's expression, and a user's action, and the interactive content at least comprises the speech information and the action information. Moreover, in order to synchronize the speech information and the action information, the length of time of the speech information and the length of time of the action information are adjusted to be the same, so that sound and actions of a robot can be synchronized and matched during playing. Therefore, the robot is more humanized, and the user experience in interaction with the robot is also improved.
(FR) L'invention porte sur un procédé de synchronisation de paroles et d'actions virtuelles, comprenant : l'obtention d'informations multimodales d'un utilisateur (S101) ; la génération d'un contenu interactif selon les informations multimodales et une chronologie de vie (300) de l'utilisateur, le contenu interactif incluant au moins des informations de paroles et des informations d'actions (S102) ; et l'ajustement de la durée des informations de paroles et de la durée des informations d'actions pour qu'elles soient identiques (S103). L'invention concerne également un système de synchronisation de paroles et d'actions virtuelles, comprenant un module d'acquisition (201), un module d'intelligence artificielle (202), un module de commande (203) et un module de sortie (204). De cette manière, le contenu interactif peut être généré selon un ou plusieurs types d'informations multimodales de l'utilisateur, telles que les paroles de l'utilisateur, l'expression de l'utilisateur et une action de l'utilisateur, et le contenu interactif comprend au moins les informations de paroles et les informations d'actions. De plus, afin de synchroniser les informations de paroles et les informations d'actions, la durée des informations de paroles et la durée des informations d'actions sont ajustées pour être identiques, de sorte que le son et les actions d'un robot puissent être synchronisés et mis en correspondance pendant la lecture. Par conséquent, le robot est plus humanisé, et l'expérience utilisateur en interaction avec le robot est également améliorée.
(ZH) 一种同步语音及虚拟动作的方法,包括:获取用户的多模态信息(S101);根据用户的多模态信息和生活时间轴(300)生成交互内容,交互内容至少包括语音信息和动作信息(S102);将语音信息的时间长度和动作信息的时间长度调整到相同(S103)。一种同步语音及虚拟动作的系统,其具有获取模块(201)、人工智能模块(202)、控制模块(203)以及输出模块(204)。这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种,来生成交互内容,交互内容中至少包括语音信息和动作信息,而为了让语音信息和动作信息能够同步,将语音信息的时间长度和动作信息的时间长度调整到相同,这样就可以让机器人在播放声音和动作时可以同步匹配,使机器人更加拟人化,也提高了用户与机器人交互时的体验度。
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Office (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (EPO) (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)