WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2018006371) METHOD AND SYSTEM FOR SYNCHRONIZING SPEECH AND VIRTUAL ACTIONS, AND ROBOT
Latest bibliographic data on file with the International Bureau    Submit observation

Pub. No.:    WO/2018/006371    International Application No.:    PCT/CN2016/089215
Publication Date: 11.01.2018 International Filing Date: 07.07.2016
IPC:
G10L 15/22 (2006.01)
Applicants: SHENZHEN GOWILD ROBOTICS CO., LTD [CN/CN]; 1307-09, Dong-Fang Technology Building No.16 Keyuan Road, Yuehai Street, Nanshan Shenzhen, Guangdong 518000 (CN)
Inventors: QIU, Nan; (CN).
YANG, Xinyu; (CN).
WANG, Haofen; (CN)
Agent: SHENZHEN HYVISION INTELLECTUAL PROPERTY ATTORNEY; Room 405, Tower B, Fuhua Technology Building, No.9116 Beihuan Road, North High-tech District, Nanshan Shenzhen, Guangdong 518000 (CN)
Priority Data:
Title (EN) METHOD AND SYSTEM FOR SYNCHRONIZING SPEECH AND VIRTUAL ACTIONS, AND ROBOT
(FR) PROCÉDÉ ET SYSTÈME DE SYNCHRONISATION DE PAROLES ET D'ACTIONS VIRTUELLES, ET ROBOT
(ZH) 一种同步语音及虚拟动作的方法、系统及机器人
Abstract: front page image
(EN)A method for synchronizing speech and virtual actions, comprising: obtaining multimodal information of a user (S101); generating interactive content according to the multimodal information and a life timeline (300) of the user, the interactive content at least comprising speech information and action information (S102); and adjusting the length of time of the speech information and the length of time of the action information to be the same (S103). A system for synchronizing speech and virtual actions, comprising an acquisition module (201), an artificial intelligence module (202), a control module (203), and an output module (204). In this way, the interactive content may be generated according to one or more types of the multimodal information of the user, such as user's speech, a user's expression, and a user's action, and the interactive content at least comprises the speech information and the action information. Moreover, in order to synchronize the speech information and the action information, the length of time of the speech information and the length of time of the action information are adjusted to be the same, so that sound and actions of a robot can be synchronized and matched during playing. Therefore, the robot is more humanized, and the user experience in interaction with the robot is also improved.
(FR)L'invention porte sur un procédé de synchronisation de paroles et d'actions virtuelles, comprenant : l'obtention d'informations multimodales d'un utilisateur (S101) ; la génération d'un contenu interactif selon les informations multimodales et une chronologie de vie (300) de l'utilisateur, le contenu interactif incluant au moins des informations de paroles et des informations d'actions (S102) ; et l'ajustement de la durée des informations de paroles et de la durée des informations d'actions pour qu'elles soient identiques (S103). L'invention concerne également un système de synchronisation de paroles et d'actions virtuelles, comprenant un module d'acquisition (201), un module d'intelligence artificielle (202), un module de commande (203) et un module de sortie (204). De cette manière, le contenu interactif peut être généré selon un ou plusieurs types d'informations multimodales de l'utilisateur, telles que les paroles de l'utilisateur, l'expression de l'utilisateur et une action de l'utilisateur, et le contenu interactif comprend au moins les informations de paroles et les informations d'actions. De plus, afin de synchroniser les informations de paroles et les informations d'actions, la durée des informations de paroles et la durée des informations d'actions sont ajustées pour être identiques, de sorte que le son et les actions d'un robot puissent être synchronisés et mis en correspondance pendant la lecture. Par conséquent, le robot est plus humanisé, et l'expérience utilisateur en interaction avec le robot est également améliorée.
(ZH)一种同步语音及虚拟动作的方法,包括:获取用户的多模态信息(S101);根据用户的多模态信息和生活时间轴(300)生成交互内容,交互内容至少包括语音信息和动作信息(S102);将语音信息的时间长度和动作信息的时间长度调整到相同(S103)。一种同步语音及虚拟动作的系统,其具有获取模块(201)、人工智能模块(202)、控制模块(203)以及输出模块(204)。这样就可以通过用户的多模态信息例如用户语音、用户表情、用户动作等的一种或几种,来生成交互内容,交互内容中至少包括语音信息和动作信息,而为了让语音信息和动作信息能够同步,将语音信息的时间长度和动作信息的时间长度调整到相同,这样就可以让机器人在播放声音和动作时可以同步匹配,使机器人更加拟人化,也提高了用户与机器人交互时的体验度。
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KR, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: Chinese (ZH)
Filing Language: Chinese (ZH)