WIPO logo
Mobile | Deutsch | Español | Français | 日本語 | 한국어 | Português | Русский | 中文 | العربية |
PATENTSCOPE

Search International and National Patent Collections
World Intellectual Property Organization
Search
 
Browse
 
Translate
 
Options
 
News
 
Login
 
Help
 
Machine translation
1. (WO2017065348) COLLABORATION METHOD USING HEAD MOUNTED DISPLAY
Latest bibliographic data on file with the International Bureau   

Pub. No.:    WO/2017/065348    International Application No.:    PCT/KR2015/013636
Publication Date: 20.04.2017 International Filing Date: 14.12.2015
IPC:
G02B 27/01 (2006.01), G06T 19/00 (2011.01)
Applicants: KOREA ADVANCED INSTITUTE OF SCIENCE AND TECHNOLOGY [KR/KR]; 291, Daehak-ro, Yuseong-gu Daejeon 34141 (KR)
Inventors: WOO, Woon Tack; (KR).
NOH, Seung Tak; (KR).
YEO, Hui Shyong; (KR)
Agent: HWANG MOK PARK IP GROUP; 8F. (Yeoksam-dong, Line Bldg.) 16, Teheran-ro 14-gil, Gangnam-gu Seoul 06234 (KR)
Priority Data:
10-2015-0143855 15.10.2015 KR
Title (EN) COLLABORATION METHOD USING HEAD MOUNTED DISPLAY
(FR) PROCÉDÉ DE COLLABORATION AU MOYEN D’UN VISIOCASQUE
(KO) 헤드 마운트 디스플레이를 이용한 협업 방법
Abstract: front page image
(EN)A collaboration method using a head mounted display (HMD), according to the present invention, comprises the steps of: generating a common space, in which a user in a local area and a user in a remote area can collaborate using a common object, in an image of a virtual world; obtaining an image of a real world including the common space from a stereo camera; determining a position of a user's hand in the image of the real world from hand tracking information obtained from a depth sensor; generating a mask mesh, which is present at a position corresponding to the position of the user's hand and displayed on the image of the virtual world, by using the hand tracking information; generating an avatar to be displayed in the image of the virtual world by using an HMD tracking information and the hand tracking information of the user in the remote area; generating an output image, in which the common space, the mask mesh, and the avatar are displayed on the image of the real world, by combining the image of the real world and the image of the virtual world; and displaying the output image on the HMD.
(FR)Un procédé de collaboration au moyen d'un visiocasque, selon la présente invention, comprend les étapes de : génération d'un espace commun, dans lequel un utilisateur dans une zone locale et un utilisateur dans une zone distante peut collaborer au moyen d'un objet commun, dans une image d'un monde virtuel ; obtention d’une image d'un monde réel comprenant l'espace commun à partir d'une caméra stéréo ; détermination d'une position de la main d'un utilisateur dans l'image du monde réel à partir d'informations de poursuite de main obtenues à partir d'un capteur de profondeur ; génération d'une grille de masque, qui est présente à une position correspondant à la position de la main de l'utilisateur et affichée sur l'image du monde virtuel, au moyen des informations de poursuite de main ; génération d’un avatar à afficher dans l'image du monde virtuel au moyen d’informations de poursuite de visiocasque et des informations de poursuite de main de l'utilisateur dans la zone distante ; génération d'une image de sortie, dans laquelle l'espace commun, la grille de masque, et l'avatar sont affichés sur l'image du monde réel, par combinaison de l'image du monde réel et de l’image du monde virtuel ; et affichage de l'image de sortie sur le visiocasque.
(KO)본 발명에 의한 헤드 마운트 디스플레이(HMD)를 사용하는 협업 방법은, 로컬 영역의 사용자 및 원격 영역의 사용자가 공통 오브젝트를 이용하여 협업할 수 있는 공통 공간을 가상 세계(virtual world)의 영상에 생성하는 단계; 스테레오 카메라로부터 공통 공간을 포함하는 실세계(real world)의 영상을 획득하는 단계; 깊이 센서로부터 획득한 핸드 트랙킹 정보로부터 실세계의 영상 내에서의 사용자의 손의 위치를 결정하는 단계; 핸드 트랙킹 정보를 이용하여, 사용자의 손의 위치에 대응되는 위치에 존재하며, 가상 세계의 영상에 표시되는 마스크 메쉬를 생성하는 단계; 원격 공간 사용자의 HMD 트랙킹 정보 및 핸드 트랙킹 정보를 사용하여, 가상 세계의 영상에 표시될 아바타를 생성하는 단계; 실세계의 영상과 가상세계의 영상을 각각 결합하여, 실세계의 영상에 공통 공간, 마스크 메쉬 및 아바타가 표시되는 출력 영상을 생성하는 단계; 및 HMD에 출력 영상을 표시하는 단계를 포함한다.
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KN, KP, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW.
African Regional Intellectual Property Organization (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG).
Publication Language: Korean (KO)
Filing Language: Korean (KO)