Search International and National Patent Collections
Some content of this application is unavailable at the moment.
If this situation persists, please contact us atFeedback&Contact
1. (WO2017134059) SYSTEM AND METHOD FOR DETECTING HAND GESTURES IN A 3D SPACE
Latest bibliographic data on file with the International Bureau

Pub. No.: WO/2017/134059 International Application No.: PCT/EP2017/052067
Publication Date: 10.08.2017 International Filing Date: 31.01.2017
IPC:
G06K 9/00 (2006.01) ,G06F 3/01 (2006.01) ,G06K 9/32 (2006.01) ,G06K 9/46 (2006.01) ,G06K 9/62 (2006.01)
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
K
RECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9
Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
F
ELECTRIC DIGITAL DATA PROCESSING
3
Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
01
Input arrangements or combined input and output arrangements for interaction between user and computer
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
K
RECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9
Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
20
Image acquisition
32
Aligning or centering of the image pick-up or image-field
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
K
RECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9
Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
36
Image preprocessing, i.e. processing the image information without deciding about the identity of the image
46
Extraction of features or characteristics of the image
G PHYSICS
06
COMPUTING; CALCULATING; COUNTING
K
RECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
9
Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
62
Methods or arrangements for recognition using electronic means
Applicants:
DELPHI TECHNOLOGIES, INC. [US/US]; P.O. Box 5052 Troy, Michigan 48007, US
DELPHI FRANCE SAS [FR/FR]; Bâtiment le Raspail - ZAC Paris Nord 2 22 avenue des Nations CS65059 Villepinte 95972 Roissy CDG Cedex, FR (GH)
Inventors:
BARTH, Alexander; DE
NUNN, Christian; DE
MUELLER, Dennis; DE
Agent:
DELPHI FRANCE SAS; Bâtiment le Raspail - ZAC Paris Nord 2 22 avenue des Nations CS65059 Villepinte 95972 Roissy CDG Cedex, FR
Priority Data:
16154542.105.02.2016EP
Title (EN) SYSTEM AND METHOD FOR DETECTING HAND GESTURES IN A 3D SPACE
(FR) SYSTÈME ET PROCÉDÉ DE DÉTECTION DE GESTES DE LA MAIN DANS UN ESPACE 3D
Abstract:
(EN) A system for detecting hand gestures in a 3D space comprises a 3D imaging unit configured to capture 3D images of a scene and a processing unit coupled to the 3D imaging unit. Each of the 3D images comprises a 2D intensity image and a depth map of the scene. The processing unit is configured to receive the 3D images from the 3D imaging unit and use at least one of the 3D images to classify the at least one 3D image. The processing unit is further configured to detect a hand gesture in the 3D images based on the classification of the at least one 3D image. The processing unit generates a foreground map of the at least one 3D image by segmenting foreground from background and a 3D sub-image of the at least one 3D image that includes the image of a hand by scaling the 2D intensity image, the depth map and the foreground map of the at least one 3D image such that the 3D sub-image has a predetermined size and by rotating the 2D intensity image, the depth map and the foreground map of the at least one 3D image such that a principal axis of the hand is aligned to a predetermined axis in the 3D sub-image. The processing unit uses the 2D intensity image of the 3D sub-image for the classification of the at least one 3D image, wherein classifying the at least one 3D image comprises distinguishing the hand in the 2D intensity image of the 3D sub-image from other body parts and other objects and/or verifying whether the hand has a configuration from a predetermined configuration catalogue. Further, the processing unit uses a convolutional neural network for the classification of the at least one 3D image.
(FR) L'invention concerne un système de détection de gestes de la main dans un espace 3D, comprenant une unité d'imagerie 3D conçue pour capturer des images 3D d'une scène et une unité de traitement couplée à l'unité d'imagerie 3D. Chacune des images 3D comprend une image d'intensité 2D et une carte de profondeur de la scène. L'unité de traitement est configurée pour recevoir les images 3D de l'unité d'imagerie 3D et utiliser au moins une des images 3D pour classifier la au moins une image 3D. L'unité de traitement est en outre configurée pour détecter un geste de la main dans les images 3D sur la base de la classification de la au moins une image 3D. L'unité de traitement produit une carte de premier plan de la au moins une image 3D par segmentation du premier plan et de l'arrière-plan et une image secondaire 3D de la au moins une image 3D qui comprend l'image d'une main par mise à l'échelle de l'image d'intensité 2D, de la carte de profondeur et de la carte de premier plan de la au moins une image 3D, de sorte que l'image secondaire 3D ait une taille prédéfinie, et par rotation de l'image d'intensité 2D, de la carte de profondeur et de la carte de premier plan de la au moins une image 3D, de sorte qu'un axe principal de la main soit aligné avec un axe prédéfini dans l'image secondaire 3D. L'unité de traitement utilise l'image d'intensité 2D de l'image secondaire 3D pour la classification de la au moins une image 3D, la classification de la au moins une image 3D comprenant la distinction de la main dans l'image d'intensité 2D de l'image secondaire 3D d'autres parties du corps et d'autres objets et/ou la vérification permettant de savoir si la main a une configuration tirée d'un catalogue de configurations prédéfinies. En outre, l'unité de traitement utilise un réseau neuronal à convolutions pour la classification de la au moins une image 3D.
front page image
Designated States: AE, AG, AL, AM, AO, AT, AU, AZ, BA, BB, BG, BH, BN, BR, BW, BY, BZ, CA, CH, CL, CN, CO, CR, CU, CZ, DE, DJ, DK, DM, DO, DZ, EC, EE, EG, ES, FI, GB, GD, GE, GH, GM, GT, HN, HR, HU, ID, IL, IN, IR, IS, JP, KE, KG, KH, KN, KP, KR, KW, KZ, LA, LC, LK, LR, LS, LU, LY, MA, MD, ME, MG, MK, MN, MW, MX, MY, MZ, NA, NG, NI, NO, NZ, OM, PA, PE, PG, PH, PL, PT, QA, RO, RS, RU, RW, SA, SC, SD, SE, SG, SK, SL, SM, ST, SV, SY, TH, TJ, TM, TN, TR, TT, TZ, UA, UG, US, UZ, VC, VN, ZA, ZM, ZW
African Regional Intellectual Property Organization (ARIPO) (BW, GH, GM, KE, LR, LS, MW, MZ, NA, RW, SD, SL, ST, SZ, TZ, UG, ZM, ZW)
Eurasian Patent Organization (AM, AZ, BY, KG, KZ, RU, TJ, TM)
European Patent Office (AL, AT, BE, BG, CH, CY, CZ, DE, DK, EE, ES, FI, FR, GB, GR, HR, HU, IE, IS, IT, LT, LU, LV, MC, MK, MT, NL, NO, PL, PT, RO, RS, SE, SI, SK, SM, TR)
African Intellectual Property Organization (BF, BJ, CF, CG, CI, CM, GA, GN, GQ, GW, KM, ML, MR, NE, SN, TD, TG)
Publication Language: English (EN)
Filing Language: English (EN)
Also published as:
CN108604299EP3411827US20190034714